На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

Хайтек+

20 подписчиков

Свежие комментарии

  • Aleksandr Antonov
    Мы 33 цивилизация на земле, так что не надо, люди вобще появились более 1000000 назад. Но не однократно уничтожали ь ...Заселение Северно...
  • ЧилиИвано
    Ничего не понятно, но приходит аналогия с древними технологиями - вычислитель хрустального черепа. Тут тоже когда осв...Китайский квантов...
  • AlisaKortneva
    Диета, физическая активность - это основа здоровья печени. Для профилактики еще неплохо овесол попить, а для лечения ...Представлена нова...

Установлен рекорд в обучении ИИ на одном чипе, в котором 2,6 трлн транзисторов

Одна из самых передовых нейронных сетей с открытым исходным кодом – модель обработки естественного языка GPT-NeoX. У нее 20 млрд параметров, которые определяют, как модель ИИ обрабатывает данные. Обучение настолько сложной нейронки требует настолько высоких вычислительных мощностей, что эта задача обычно выполняется только при помощи большого числа графических процессоров.

Компания Cerebras заявила, что теперь обладает технологией, способной обучить GPT-NeoX при помощи одного-единственного устройства GS-2. И на сегодня только она обладает такими возможностями. Также GS-2 можно использовать для обучения других моделей обработки естественного языка – GPT-3XL или GPT-J с 1,3 млрд и 6 млрд параметров, соответственно.

Главное достижение Cerebras – чип WSE-2 с 2,6 трлн транзисторов, организованных в 850 000 ядер. Это в сто раз больше, чем количество ядер в самом быстром из графических процессоров на рынке. Есть также 40 ГБ памяти для хранения нейронной сети и обрабатываемых данных.

В памяти чипа можно хранить различные типы нейросетей, однако, некоторые модели ИИ с более чем миллиардом параметров требуют более 40 ГБ свободного места. Для них компания разработала технологию Weight Streaming. Она позволяет добавить к WSE-2 до 2,4 ПБ внешней памяти, что позволяет чипу обрабатывать более сложные модели, у которых до триллиона параметров.

Разработка призвана упростить обучение моделей искусственного интеллекта и оптимизировать работу ПО.

В начале года калифорнийская компания BrainChip https://hightech.plus/2022/01/19/kompaniya-brainchip-pervoi-... о начале продаж своих плат Mini PCIe на базе нейорморфного чипа AKD1000. разработчик электроники намерен стать главным поставщиком оборудования на принципиально новой архитектуре. Системы BrainChip способны проводить обучение ИИ на самом устройстве, независимо от подключения к облаку.

 

Ссылка на первоисточник

Картина дня

наверх
Новости СМИ2