Представлена нейросеть YandexART (Vi) для создания пятисекундных видео

Ранее Яндекс уже представил модель для генерации видео по текстовым запросам, однако прежняя версия могла только имитировать движение камеры, оставляя объекты статичными и часто изменяющимися от кадра к кадру. Новая версия YandexART (Vi) https://yandex.ru/company/news/02-04-09-2024 поддерживать логичную связь между кадрами, создавая более плавные и цельные видео.

Это стало возможным благодаря обучению на реальных роликах с движущимися объектами, такими как автомобиль или крадущийся кот.

Работа нейросети основана на преобразовании текстовых запросов пользователей в последовательность кадров, которые плавно сменяют друг друга. В начале процесса модель создает начальное изображение по описанию, например, «носорог танцует хип-хоп в сумрачном лесу», а затем постепенно превращает цифровой шум в анимацию. Такой подход позволяет достичь более реалистичных и последовательных движений.

YandexART — это диффузионная нейросеть, разработанная для создания и улучшения изображений и анимации на основе текстовых описаний. Она способна обрабатывать загруженные фотографии, понимать российский культурный код и точно распознавать пожелания пользователей. Система работает в заданных художественных стилях и может создавать фотореалистичные портреты, интегрирована в Яндекс Шедеврум, Яндекс Бизнес, Директ, Браузер и Маркет. Компании могут также получить доступ к API YandexART через Yandex Cloud.