MWC 2018
2018
Computex
IFA 2018
Google анонсировала модель искусственного интеллекта Gemini Omni 1.1 Flash, предназначенную для генерации видео. Проект представляет собой попытку решить задачу о том, как по заданному образцу из нескольких кадров сгенерировать органичный ролик — разработчикам предоставляется больший контроль над тем, что происходит между первым и последним кадром.
Источник изображения: blog.google
Важнейшее нововведение Google Gemini Omni 1.1 Flash — способность модели запоминать существующее видео, когда она получает инструкцию продолжить сцену; модель полагается не только на последние кадры, а на 10 секунд предшествующего видеоматериала. Это помогает ей сохранять персонажей, окружение и общее направление сцены более согласованными, и не приходится угадывать, что должно произойти дальше. Расширился набор возможностей для продолжения исходных сцен. Видео можно удлинять фрагментами по 10 секунд, пока общая длина ролика не достигнет 40 секунд. Этот промежуток может показаться не таким уж продолжительным по сравнению с традиционным видео, но открывается более широкий набор возможностей для генерации последовательностей с помощью ИИ — с заданными началом, серединой и концом.
Это значит, что пользователь может предоставить первый и последний кадры, а Google Gemini Omni 1.1 Flash сгенерирует всё необходимое для их соединения. Это может быть движение камеры вокруг объекта, плавное масштабирование композиции или зацикленный ролик. Можно отправить модели до трёх секунд реального видео для дополнительного визуального контекста, а она сама, например, изобразит появление персонажа в сгенерированной сцене. На этапе предварительных материалов максимальное качество видео не требуется — они могут генерироваться в разрешении 360p, что позволяет ИИ работать на 60 % быстрее, чем в случае с 720p, и втрое дешевле. Можно протестировать задумку, скорректировать подсказки, проработать несколько версий, и когда результат окажется оптимальным, Omni 1.1 Flash создаст видео в 1080p или масштабирует его до 4K.
Доступ к Google Gemini Omni 1.1 Flash уже открылся через API Gemini в Google AI Studio, корпоративные клиенты могут поработать с моделью через Google Agent Platform. Частные пользователи при наличии подписки Google AI Plus, Pro и Ultra могут открыть новую модель в Google Flow; для них функция расширения сцены появится и в основном приложении Gemini.
Источник:
