В Runway рассказали, как модель GWM Worlds 2 создаёт мир в реальном времени

Руководители Runway рассказали рассылке и подкасту Latent Space, как устроена GWM Worlds 2. Это модель, которая по текстовым командам в реальном времени генерирует видео и звук интерактивного мира.

Почему это важно: модели мира нужны для игр и тренажёров, в которых обстановку не программируют заранее. Модель дорисовывает её в ответ на действия человека, робота или ИИ-агента.

Повод: Runway показала модель 3 сентября как предварительную версию для исследователей, доступ к ней дают по заявке. Теперь трое руководителей компании объяснили, как она работает и где ошибается: технический директор Камиль Синди, ведущий научный сотрудник Робин Калов (Robin Kahlow) и сооснователь Анастасис Германидис, один из двух глав Runway.

Детали: главная новинка — формат запроса WorldPrompt. Мир в нём задают так:

• Сначала первый кадр и описание сцены: обстановка, свет, фоновый звук, персонажи и правила вроде гравитации или способностей героя.
• Затем поток событий, у каждого из которых есть время начала и конца: кто куда идёт, что делает и говорит, какой раздаётся звук.
• Новые события можно добавлять прямо во время просмотра, и мир продолжается от каждой команды, а не по готовому сценарию.

Что говорят: «Если где-то есть неигровой персонаж, он может подойти к вам и что-то сказать. С такой моделью можно добиться того же и очень подробно управлять всем в сцене», — объяснил Калов. «Можно по требованию создавать миры, которыми управляют запросами, с синхронными видео и звуком. Это не гипотеза из далёкого будущего», — сказал Синди.

Как это работает: по словам Калова, выдавать мир без пауз мешают две вещи: обычная видеомодель создаёт весь ролик сразу и делает это медленно. Runway решала обе задачи в три этапа:

• Базовую модель компании, которая генерирует видео и звук, дообучили понимать формат WorldPrompt и следовать его командам.
• Затем её научили выдавать не весь ролик сразу, а по одному или нескольку кадров, пока пользователь смотрит.
• Наконец, её ускорили дистилляцией¹: знания большой модели переносят в меньшую или учат модель обходиться меньшим числом шагов генерации.

В цифрах:

• Мир идёт непрерывным видео 720p с частотой 24 кадра в секунду и звуком с частотой 48 000 Гц.
• По словам Германидиса, при дистилляции число шагов генерации можно сократить примерно с 50 до четырёх: качество немного падает, но результат часто сопоставим.
• Открытый мир GWM Worlds, по его оценке, генерируется без перерыва порядка нескольких минут, а модель говорящих аватаров Runway — до 30 минут.

Но: WorldPrompt — способ давать команды, а не язык программирования. Писать сценарии и управлять состоянием мира, как в Minecraft или Roblox, нельзя. Слабые места разработчики называют сами:

• Ошибки накапливаются: модель получает на вход собственные кадры, и мелкие огрехи со временем растут, объясняет Германидис.
• Сцену модель помнит неидеально, и Калов называет долгую память открытой научной задачей.
• Генерация не заканчивается, поэтому приходится решать, что из контекста хранить, а что выбросить, чтобы не переполнить память видеокарт, говорит Синди.
• Чем сложнее действие, тем хуже модель его выполняет, но движение, по словам Калова, работает довольно надёжно.

Интрига: Германидис считает, что модель мира отличается от видеомодели умением одинаково правдоподобно показать любой исход. В роликах из интернета забитых голов больше, чем промахов, поэтому видеомодель убедительнее рисует гол. «Если я делаю одно действие, а не другое, нужно, чтобы оба исхода выглядели одинаково реалистично», — говорит он.

Если шире: в Runway видят в модели не только игры, но и полигон для машин:

• В смоделированной обстановке можно проверять, как работает робот, — такой пример приводит Калов.
• Для испытаний ИИ-агентов модель может создать тысячи смоделированных сред, и, по словам Калова, с ней это куда проще.
• Состояния мира в виде данных агент не получает: он видит то же, что видел бы в жизни, только через камеры.
• Синди добавляет, что модель годится и для генерации синтетических данных, на которых обучают агентов.

Расклад: миры в реальном времени генерируют и конкуренты: Genie 3² у Google DeepMind (тоже 720p и 24 кадра в секунду), Odyssey³-2 Pro у стартапа Odyssey и RTFM у World Labs⁴. Ограничения есть у всех: по словам Google, Genie 3 пока выдерживает несколько минут непрерывного взаимодействия, а не часы. Первую GWM Worlds Runway выпустила в декабре прошлого года. После февральского раунда на 315 млн долларов компанию, по данным СМИ, оценивают в 5,3 млрд долларов.

Германидис считает генерацию видео в реальном времени неизбежной: для пользователя так удобнее, обслуживать такие модели дешевле, а по качеству они будут всё меньше отставать от базовых. Он «очень удивится», если через два года основными не станут модели реального времени.