MWC 2018
2018
Computex
IFA 2018
Входящее в Ant Group подразделение Robbyant открыло исходный код модели мира LingBot-World 2.0, разработанной для генерации длительных видео в реальном времени и интерактивных симулированных сред.
Источник изображений: reactor.inc
LingBot-World 2.0 поддерживает непрерывную генерацию интерактивного изображения окружающего мира до часа с разрешением 720p и частотой 60 кадров в секунду; она позволяет пользователям взаимодействовать со сгенерированными сценами в реальном времени — управлять персонажами и изменять перспективу картинки. В комплекте с моделью идёт набор ИИ-агентов: «пилот» планирует и реализует поведение персонажей, а «режиссёр» добавляет новые события по мере развития сцен.
Генерация продолжительных видео была непростой задачей для разработчиков ИИ: со временем качество изображения и структура сцена могут ухудшаться. Разработчики LingBot-World 2.0 решили эту проблему за счёт причинно-следственного подхода к предварительному обучению и механизма маски двунаправленного внимания (MoBA). Модель обучается эволюции мира в хронологическом порядке, что сокращает кумулятивные ошибки, которые приводят к эффектам размытия, сбоям геометрии и разрушению сцены при длительных последовательностях. Часовые стресс-тесты не показали снижения качества у LingBot-World 2.0.
Для поддержки интерактивных функций в Robbyant создали более быструю версию модели для инференса и переработали конвейер, чтобы контент генерировался, транслировался и отображался в реальном времени, а не только по полном завершении генерации. Такой подход помогает снизить задержку и сделать взаимодействие более похожим на живую симуляцию, а не предварительно отрисованное видео. Пользователи могут в реальном времени перемещать персонажей и переключать вид камеры, пока сцена продолжает развиваться.
Модель предусматривает поддержку широкого спектра действий внутри сгенерированных сред: бой, стрельбу из лука, применение заклинаний, прыжки и планирование. По текстовому запросу можно изменить свойства среды: время суток, погоду или добавить новые объекты. События генерируются в соответствии с состоянием сцены в момент взаимодействия. Модель поддерживает присутствие нескольких пользователей в одном постоянно существующем мире — они могут совместно исследовать и взаимодействовать в единой среде, и это важный шаг на пути к многопользовательским игровым процессам, которые генерируются ИИ.
LingBot-World 2.0 доступна под лицензией с открытым исходным кодом, и с первого дня поддерживается фреймворк SGLang. Модель доступна на платформе Robbyant Reactor, где пользователи могут опробовать её онлайн. Разработчик также открыл исходный код LingBot-Video — базовой модели на архитектуре Mixture-of-Experts, предназначенной для робототехники. LingBot-Video переработали с повышением эффективности вывода, с правдоподобной физикой, пониманием действий и упором на выполнение задач.
Источник:
