Хотя он не говорит об этом напрямую, одна из главных причин конца эпохи роста масштабов моделей – непомерные и невыгодные расходы на обучение крупных языковых моделей и на работу графических процессоров. К примеру, тренировка ChatGPT требовала свыше 10 000 видеокарт, и еще больше ресурсов нужно для постоянной работы бота.
А стоимость новейшей модели графического процессора Nvidia H100 - $30 603.Таким образом, от создания все более крупных генеративных моделей нас защищает экономический фактор. И, по мнению Альтмана, нам следует ожидать следующего рывка в ИИ с какой-то другой стороны. Возможно, прорыв обеспечит новая архитектура моделей, возросшая эффективность данных или прогресс в алгоритмических методах. Однако эра беспредельных данных и огромных по размеру моделей, которая преобразила индустрию ИИ за последнее десятилетие, подходит к концу.
«Я думаю, что приблизился конец эры, в которой существуют эти очень, очень большие модели, - сказал Альтман. – Мы будем улучшать их другими способами».
При этом глава OpenAI считает размер модели «ошибочным мерилом ее качества». «Я полагаю, слишком много внимания уделяется подсчету параметров, возможно, число параметров и вправду увеличивается. Но это сильно напоминает мне погоню за гигагерцами в микрочипах в 1990-х и 2000-х годах, когда каждый пытался достичь наибольшего показателя», - сказал он.
Тем не менее, пока что без доступа к тысячам графических процессоров разработчикам ИИ не обойтись, https://venturebeat.com/ai/openai-chief-says-age-of-giant-ai. .. Venture Beat.
Во время той же конференции Сэм Альтман решительно https://hightech.plus/2023/04/17/sem-altman-openai-sovershen... слухи о том, что его компания уже начала разработку языковой модели следующего поколения, GPT-5. Этого не происходит и не будет происходить еще какое-то время, заверил глава OpenAI. Однако работы над улучшением прошлой версии, GPT-4, которая появилась совсем недавно, активно ведутся.
Свежие комментарии