Google выпустила ИИ с огромным контекстным окном

Конечно, впечатляющая вместительность — не единственное достоинство обновления. Gemini 1.5 Pro превзошла свою предшественницу, Gemini 1.0 Pro, на 87% по результатам бенчмарк-тестов. Модель приближена к флагманской Gemini Ultra с лучшей производительностью.

Она использует методологию «Смесь экспертов» (Mixture of experts, MoE).

Такие модели состоят из группы подмоделей (экспертов), которые решают определённые задачи. Когда вы отправляете запрос, специальная сеть-распределитель решает, каким экспертам его направить. Затем ответы наиболее компетентных подмоделей взвешиваются и объединяются в один. Так ответы не только становятся точнее — вы ещё и получаете их быстрее, а разработчику БЯМ легче её обслуживать.

Однако генеральный директор Google Сундар Пичаи особенно гордится объёмом контекста. Для примера, главный конкурент Gemini, ChatGPT от OpenAI, вмещает всего 128 тысяч токенов, а текущая версия Gemini Pro — 32 тысячи. Пичаи объяснил, что 1 миллион токенов — это 10-11 часов видео или десятки тысяч строк кода.

Обычно в больших языковых моделях 1 токен соответствует 1 слову, хотя некоторые нейросети используют в качестве токенов буквы и графемы. На 1 странице А4 на английском языке умещается около 500 слов. По такой логике, 1 млн токенов равен примерно 2000 страницам текста. В средней англоязычной книге 64 тысячи слов, а значит, диалоговое окно Gemini 1.5 Pro может вместить около 15 книг. Пичаи похвастался, что обновлённый чат-бот может вместить всю трилогию «Властелина колец» и свободно анализировать её.

Он также упомянул, что сейчас в компании тестируют контекстное окно на 10 млн токенов — оно сможет вместить все книги «Игры престолов».

Выпуск Gemini 1.5 Pro похож на достойный ответ компании OpenAI, которая собирается выпустить с https://hightech.plus/2024/02/16/po-sluham-openai-sozdaet-sv... Разработчик ChatGPT теснит Google там, где компания традиционно была лидером. В качестве контр-меры технологический гигант активно включился в гонку разработчиков ИИ и даже представил продукт, в чём-то превосходящий GPT-4. Этот чат-бот планируют наделить памятью: он будет помнить прежние взаимодействия с пользователем и его предпочтения, поэтому его не нужно будет каждый раз настраивать заново.

Пичаи сказал журналистам издания https://www.theverge.com/2024/2/15/24073457/google-gemini-1-... , что в будущем названия и производители моделей ИИ потеряют значение для пользователей. Они будут выбирать не Google или OpenAI, а самый удобный и привлекательный продукт. Таким же образом люди выбирают смартфон и не беспокоятся о том, чей процессор у него под крышкой. Однако на начальном этапе ИИ-гонки репутация и позиционирование очень важны.