На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

Хайтек+

20 подписчиков

Свежие комментарии

  • Aleksandr Antonov
    Мы 33 цивилизация на земле, так что не надо, люди вобще появились более 1000000 назад. Но не однократно уничтожали ь ...Заселение Северно...
  • ЧилиИвано
    Ничего не понятно, но приходит аналогия с древними технологиями - вычислитель хрустального черепа. Тут тоже когда осв...Китайский квантов...
  • AlisaKortneva
    Диета, физическая активность - это основа здоровья печени. Для профилактики еще неплохо овесол попить, а для лечения ...Представлена нова...

В Meta нашли способ улучшить мыслительные способности БЯМ

Точность ответов и рассуждений БЯМ — давняя боль разработчиков. Некоторые подсказки пользователей помогают повысить их эффективность, но модель может дать сбой, если запрос будет содержать нерелевантную или поданную уверенно информацию. Например, если вы напишите в вопросе собственные рассуждения, чат-бот скорее всего подтвердит их, а не напишет, как дела обстоят на самом деле.

Здесь на помощь приходит "System 2 Attention", она же S2A, которая превосходит ранее известные методики. Она особенно хорошо проявила себя в ответах на вопросы, решениях задач с текстовым условием и генерации длинных текстов. Всё потому, что с помощью неё БЯМ учатся отсеивать предвзятую, субъективную или просто не имеющую значения информацию. Точность и объективность ответов при её использовании растёт, а языковые модели не пытаются «польстить» пользователю.

Механизм работы S2A включает в себя два этапа. На первом она изменяет первоначальный запрос, представленный БЯМ, и удаляет несущественные или потенциально вводящие в заблуждение части. Затем этот уточнённый запрос подаётся в основную БЯМ для генерации выводов. Теперь ответы модели основываются на наиболее релевантных и важных аспектах входных данных, тем самым повышая качество и надежность выхода.

Более того, техника S2A решает ключевую проблему в работе языковых моделей-трансформеров (вид архитектуры, при котором модели не обрабатывают текст по порядку). Традиционные механизмы мягкого внимания в них склонны включать в свои латентные представления несущественную информацию из запроса, что может негативно влиять на генерацию следующих токенов в последовательности. Отсеивая ненужное, S2A помогает улучшить производительность и точность БЯМ.

 

Ссылка на первоисточник

Картина дня

наверх
Новости СМИ2