Gemini Robotics-ER 1.5
Модель Google DeepMind для воплощённых рассуждений (embodied reasoning), то есть рассуждений о физическом мире. По изображениям и видео она понимает расположение предметов, отмечает точки и объекты, планирует многошаговые задачи, следит за ходом их выполнения и может вызывать инструменты, например поиск Google. Сама роботом не управляет: это высокоуровневый планировщик, который передаёт шаги модели-исполнителю, например модели «зрение — язык — действие» Gemini Robotics 1.5, или функциям, которые задал разработчик.
проверено по: developers.googleblog.com ↗
См. также
- Google DeepMindИсследовательская лаборатория ИИ, которую основали в Лондоне в 2010 году под названием DeepMind Technologies. В 2014 году её купила Google, а в 2023-м она объединилась с Google Brain и стала называться Google DeepMind. Создала AlphaGo и AlphaFold, разрабатывает модели Gemini.
- Физический ИИСистемы ИИ, которые воспринимают реальный мир и действуют в нём через устройства: роботов, беспилотные автомобили, промышленные машины. В отличие от чат-ботов и других моделей, которые работают только с текстом и изображениями, такие системы должны учитывать пространство и физику. Обучают их обычно в физических симуляциях и на синтетических данных, часто с помощью обучения с подкреплением.
- Модель мираСистема ИИ, которая строит внутреннее представление окружения и предсказывает, как оно изменится в ответ на действия (world model). Её используют для планирования и обучения агентов и роботов: вместо того чтобы пробовать каждое действие в реальности, агент «проигрывает» последствия внутри модели. В отличие от классического симулятора с заданными вручную физическими формулами, модель мира обычно выучивает закономерности из данных, например из видео.
- Genie 3Модель мира Google DeepMind из семейства Genie. По текстовому описанию создаёт интерактивную среду, по которой можно перемещаться и в которой можно действовать в реальном времени. Кадры генерируются последовательно с учётом действий пользователя, и мир остаётся согласованным в течение нескольких минут. Модель применяют, в частности, для обучения ИИ-агентов в смоделированных средах.
- Gemini Live APIИнтерфейс для разработчиков, через который модели Gemini работают в реальном времени: непрерывно принимают поток звука, видео или текста и отвечают голосом или текстом с малой задержкой. Пользователь может перебить модель на полуслове, а модель может вызывать инструменты. Нужен для голосовых помощников и других приложений, где важен живой диалог, а не обмен отдельными запросами.
В новостях
Sakana AI предложила проверять движения робота в симуляторе до запуска
Модель Google DeepMind для роботов: по изображению понимает сцену, отмечает точки на предметах и планирует шаги задачи. Сама моторами не управляет, а служит роботу планировщиком.