Цинхуа-Университет провел https://www.scmp.com/tech/tech-trends/article/3259904/baidu-..., в ходе которого сотрудники оценили 14 различных БЯМ, широко используемых в чат-ботах. Для оценки моделей использовались различные методики, включая тесты на семантическое понимание, способность к написанию кода, а также адаптацию к командам человека.
Оказалось, что между китайскими моделями и моделями первого класса из других стран существуют "очевидный разрыв", особенно в программировании и выполнении задач в реальных условиях.Исследователи хотели предложить объективные и научно обоснованные критерии для оценки моделей, что становится все более важным в условиях растущего числа БЯМ на рынке. Ученые хотят точно оценивать способности моделей к обработке естественного языка, их умение логически рассуждать и способность к обучению без учителя.
Среди 200 моделей БЯМ, запущенных в Китае (где услуги OpenAI официально недоступны), высокие результаты в задачах на китайском языке показали Ernie Bot 4.0 и GLM-4. В этой категории также выделялись чат-боты Kimi от Moonshot AI и Tongyi Qianwen 2.1 от Alibaba, которые заняли топовые позиции, хотя и GPT-4 продолжает оставаться лидером в области рассуждений на китайском языке.
Кроме того, китайские разработчики столкнулись с новыми препятствиями из-за недавних изменений в американском законодательстве об экспортном контроле, которые ограничили доступ к передовым процессорам и оборудованию для производства полупроводников.
За последние годы Zhipu AI привлек инвестиции в размере 2,5 миллиарда юаней, а Moonshot AI – $1 миллиард.
Эти стартапы, наряду с Baichuan и MiniMax, в Китае называют "четыре новых тигра ИИ" за их вклад в развитие индустрии.
Свежие комментарии