Первые собственные чипы OpenAI могут появиться в 2026 году

Обучение и улучшение больших языковых моделей ИИ требует огромных вычислительных ресурсов. Рыночная стоимость компании Nvidia, поставщика графических процессоров H100 для обучения GPT-4, Gemini, Llama 2 и других БЯМ, в прошлом году впервые превысила 1 трлн долларов. Не удивительно, что OpenAI заинтересована в разработке собственных процессоров.

В прошлом году OpenAI собиралась вложиться в строительство «сети фабрик» по всему миру, но эти планы были заморожены из-за слишком высоких расходов и больших сроков. Тогда компания начала обдумывать другие варианты. С июля этого года, как сообщает The Information, начались переговоры с Broadcom, американским поставщиком микрочипов, и другими поставщиками о запуске совместного производства.

Агентство Reuters, ссылаясь на анонимный источник в OpenAI, https://www.reuters.com/technology/artificial-intelligence/o..., что компания ищет партнеров среди производителей полупроводников и рассматривает смешанную стратегию отчасти собственного, отчасти стороннего производства необходимых ей процессоров.

Broadcom помогает ИТ-компаниям, в частности, Google, оптимизировать архитектуру микрочипов для производства, а также поставляет компоненты для проектирования, помогающие ускорить ввод и вывод информации с чипов. Для систем ИИ с десятками тысяч чипов, соединенных в одну систему, это крайне полезно.

OpenAI пока не определилась, будет ли она сама разрабатывать или приобретать другие компоненты архитектуры чипов, сообщают источники. Возможно, будут подключены другие партнеры. В любом случае, компания уже сформировала команду примерно из 20 инженеров под руководством разработчиков, участвовавших в создании тензорных процессоров Google: Томаса Норри и Ричарда Хо.

Через Broadcom OpenAI уже договорилась о выделении производственных мощностей тайваньской TSMC. Предположительно, первые чипы OpenAI должны появиться в 2026 году.

Недавно OpenAI https://hightech.plus/2024/10/24/novaya-model-openai-uskorya... новый тип модели sCM, которая ускоряет генерацию мультимедиа в 50 раз по сравнению с традиционными диффузионными моделями. Технология позволяет создавать высококачественные образцы всего за два шага выборки вместо сотен и значительно сокращает вычислительные затраты.