GR00T 2

GR00T 2 — модель NVIDIA на основе Cosmos для управления роботами при работе с предметами. В отличие от GR00T 1.7, которая предсказывала действия по наблюдениям и инструкции, она совместно прогнозирует движения и будущую картину с камер. В основе — диффузионный трансформер: нейросеть, которая постепенно убирает шум из заготовок будущего видео и действий. Небольшие модули для каждого типа робота превращают полученный план в команды двигателям.

Модель обучали на записях работы людей, демонстрациях с ручными захватами и данных дистанционного управления роботами. По данным NVIDIA, это позволяет переносить навыки с человека на робота и между роботами разного устройства. Её применяют для сборки деталей, подключения кабелей, упаковки и лабораторных операций. Отдельный ИИ-агент может планировать последовательность шагов и проверять результат, поручая GR00T 2 выполнение движений.

Соседняя GR00T 2 Turbo использует меньшую нейросеть и сильнее сжимает видео, чтобы работать на встроенном вычислителе человекоподобного робота Unitree G1. По испытаниям NVIDIA, GR00T 2 успешнее Turbo в большинстве показанных задач на роботах YAM и Dexter. В отдельных операциях с соединением деталей Turbo оказалась впереди.

Точность остаётся ограничением: NVIDIA отмечает, что модель нередко выбирает правильные шаги, но ошибается при выполнении отдельного движения. Для освоения новых задач предусмотрено дообучение на нескольких демонстрациях. Длинные задания тоже удаются не всегда: в опытах с Dexter даже подсказки с отметками на изображении редко помогали завершить сортировку мусора целиком.

источники:Анонс NVIDIA ↗Устройство и испытания GR00T 2 ↗Устройство предыдущей GR00T 1.7 ↗