Google открыла разработчикам Genie 4 для создания интерактивных миров
Разработчики могут подключить Genie 4 к своим приложениям, чтобы пользователи могли исследовать созданные моделью миры и менять их на ходу.

Google открыла разработчикам доступ к Genie 4 через Gemini API, чтобы они могли подключать её к своим приложениям. В Google AI Studio модель можно попробовать в браузере. Модель строит интерактивные миры по текстовому описанию, изображению или по обоим сразу.
Почему это важно: Google впервые даёт разработчикам возможность встроить в свои проекты модель, которая меняет виртуальный мир в ответ на действия пользователя. Об этом написал в соцсети X Логан Килпатрик, который отвечает в Google DeepMind за Google AI Studio и Gemini API.
Предыстория: Когда Google DeepMind показала модель 27 октября, её могли опробовать только тестировщики. 18 ноября Google открыла доступ к модели части подписчиков Google AI Ultra через браузерный сервис Project Genie.
Расклад: В Google AI Studio модель можно опробовать на интерактивной площадке и в готовых примерах приложений. Interactions API входит в Gemini API. Через него приложение отправляет запросы к Genie 4 и получает результаты.
Детали: По миру можно перемещаться с клавиатуры, а текстовыми командами менять погоду, освещение и предметы. Модели семейства Gemini помогают Genie 4 выполнять эти команды с учётом того, что уже происходит в сцене.
Genie 4 на ходу создаёт видео в разрешении 720p с частотой до 24 кадров в секунду. Звуки окружения и реплики персонажей синхронизированы с происходящим. Google встраивает незаметный цифровой водяной знак SynthID в каждое видео и его звуковую дорожку.