Gemini Robotics ER 2: «мозг» для роботов понимает по видео, когда задача выполнена

Google DeepMind выпустила Gemini Robotics ER 2 — модель, которая работает как «верхний этаж» мозга робота. Она разговаривает с человеком, разбирается в обстановке и планирует задачу по шагам. Сами движения она поручает другой модели, которая уже управляет моторами. Разработчики могут попробовать ER 2 через Gemini API и Google AI Studio, а в корпоративной платформе Gemini Enterprise Agent Platform модель доступна в закрытой предварительной версии.

Главная новинка — работа с непрерывным видео. Предыдущая версия, ER 1.6, смотрела на отдельные снимки. Теперь робот видит, как продвигается дело, замечает сбой вроде пролитой жидкости или соскользнувшего предмета и понимает, когда пора переходить к следующему шагу. Проверить, что лампочка вкручена до конца или мешок для мусора завязан, — давняя трудность робототехники.

Google приводит цифры. Ход выполнения задачи модель оценивает по пятибалльной шкале с точностью 57,4%, и это, по данным компании, лучше конкурирующих передовых моделей. Момент ключевого события на видео — например, когда пора перестать лить кофе в чашку — она находит с точностью 91,3% и ошибается в среднем на 0,96 секунды. По словам Google, модель близка к гораздо более крупным системам, но требует меньше вычислений и работает вчетверо быстрее.

Модель умеет вызывать инструменты: поиск Google, навигацию, функции самого разработчика. Она подключается к Gemini Live API¹, поэтому думает о следующем шаге, пока робот ещё выполняет текущий, и не замирает между действиями. Для демонстрации Google научила робота-собаку Spot от Boston Dynamics приносить вещи по голосовой команде. Код примеров выложен на GitHub. Ещё одна демонстрация — совместная работа гуманоида Apollo 2 от Apptronik² и двурукого манипулятора Franka F3 Duo.

Отдельно Google говорит о безопасности. По данным компании, ER 2 останавливает гуманоида, когда рядом появляется человек, и сама возобновляет работу, когда место освобождается. Вместе с моделью DeepMind представила новый бенчмарк. Он проверяет, может ли модель безопасно командовать роботом: соблюдать ограничения, следить за обстановкой и переспрашивать человека, если команда неясна. Все результаты пока получены на тестах самой Google.