Gemini Robotics 2: модели DeepMind научили гуманоида ходить и завязывать узлы
DeepMind выпустила три модели Gemini Robotics 2. Гуманоид под их управлением ходит, приседает и работает пальцами, а роботы могут трудиться командой. Модель-планировщик ER 2 уже доступна в Google AI Studio.
Google DeepMind представила Gemini Robotics 2 — новое поколение моделей для роботов. Теперь они управляют гуманоидом целиком, «от ступней до кончиков пальцев». Прежние версии умели работать только с верхней частью тела робота, поэтому ограничивались задачами на столе.
В демонстрации гуманоид Apollo 2 от Apptronik получает просьбу поставить лейку в зелёный ящик на нижней полке. Робот идёт к столу, берёт лейку, делает несколько шагов к стеллажу и точно ставит её на место. В компании признают, что двигается робот пока медленно. Зато пятипалая кисть SharpaWave с 22 степенями свободы у того же Apollo завязывает узлы и закрывает пакеты на зип-замок. На двуруком стенде Franka Duo с обычными двухпальцевыми захватами модель плотно укладывает вещи.
Семейство состоит из трёх моделей. Gemini Robotics 2 переводит изображение и текстовую команду в движения моторов. Gemini Robotics ER 2 служит роботу «мозгом верхнего уровня»: общается с человеком, осматривает помещение, планирует задачу на несколько минут и сотни решений, следит за ходом работы и исправляет сбои. Она же координирует нескольких разных роботов, которые вместе делают то, с чем один не справится. Третья модель, On-Device 2, работает прямо на роботе без интернета. К новому двурукому роботу её можно приспособить за несколько часов, обычно меньше чем по 200 примерам, даже если у него другая форма и другие датчики.
Отдельно DeepMind показала бенчмарк ASIMOV-Agentic. Он проверяет, умеет ли модель-планировщик отклонять опасные команды, оценивать, выполнима ли задача, и звать человека, когда она не уверена. По словам компании, ER 2 — её самая безопасная модель для роботов: она лучше замечает людей рядом и останавливает робота, если человек подходит слишком близко.
Получить модели сможет не каждый. ER 2 уже доступна в Google AI Studio и в закрытой предварительной версии на Gemini Enterprise Agent Platform. Две модели, которые непосредственно двигают роботом, пока получают только партнёры программы раннего доступа. Среди партнёров DeepMind благодарит Apptronik, Boston Dynamics и Agile Robots.