NVIDIA представила модель GR00T 2 для точной работы роботов
По замерам NVIDIA, после пяти демонстраций каждой задачи модель для роботов GR00T 2 добилась средней доли успешных попыток в 95%.
NVIDIA представила GR00T 2 — открытую модель для управления человекоподобными роботами и обучения точным действиям с предметами. Анонс состоялся на конференции Conference on Robot Learning (CoRL) в Остине.
Почему это важно: по описанию NVIDIA, модель учится по человеческим демонстрациям и переносит навыки между роботами с разным устройством. Для такого переноса не нужны демонстрации этих действий самими роботами.
Детали: GR00T 2 построена на Cosmos — платформе NVIDIA для моделей, имитирующих реальный мир. Её обучали на данных о действиях роботов и людей, включая 100 000 часов открытых записей от первого лица. ИИ-агенты — программы, самостоятельно выполняющие цепочки действий, — могут через программный интерфейс модели запускать навыки последовательно и восстанавливать выполнение после ошибок.
В цифрах: без демонстраций этих задач на роботе, на котором проводили испытания, GR00T 2 хотя бы раз выполнила 40 из 50 заданий. Сами задачи уже встречались в человеческих видео или данных других роботов, уточняет NVIDIA на исследовательской странице GR00T 2. С одной демонстрацией каждой задачи средняя доля успешных попыток на этом наборе достигла 71%. С пятью демонстрациями показатель вырос до 95%. Все эти результаты приводит NVIDIA.
Как это работает: для обучения перед переносом навыков на настоящего робота NVIDIA представила Isaac Lab 3.0 — открытую среду симуляции. Её теснее связали с Newton — физическим движком, который рассчитывает поведение объектов. Это позволяет моделировать деформируемые предметы, например кабели и ткань, а также роботизированные кисти со множеством взаимодействующих суставов. В симуляции можно одновременно обучать тысячи виртуальных роботов.
Проверка навыков: отдельный инструмент Isaac Lab-Arena позволяет повторять испытания с тысячами вариантов условий параллельно. Разработчики видят, при каких изменениях робот начинает ошибаться, и используют эти результаты при следующем обучении. Два новых открытых промышленных теста, DexBench и VABAR, используют эту систему вместе с Newton.
Промышленные задачи: DexBench, разработанный RLWRLD совместно с NVIDIA, включает 15 заданий в четырёх виртуальных сценах. В испытаниях меняются предметы, их расположение и физические свойства. VABAR от Калифорнийского университета в Беркли и NVIDIA проверяет шесть промышленных задач. Для каждой предусмотрены стандартные варианты условий, уровни сложности и показатели успешности.
Исследовательский институт Ai2 обратил внимание на использование своего MolmoSpaces для оценки GR00T 2 наряду с другими тестами. В соцсети X институт подчеркнул, что MolmoSpaces открыт: разные команды могут проверять программы управления роботами на одинаковых виртуальных домах, предметах и заданиях.