Ai2 выложил ToyBlocks — открытый симулятор с кубиками для обучения роботов

Ai2 выложил в открытый доступ ToyBlocks — виртуальный стол, на котором роборука толкает, переворачивает и ставит друг на друга кубики с буквами и картинками. В этом мире исследователи сами решают, на каких примерах учится робот, и могут проследить, откуда взялась его ошибка.

Почему это важно: роботы уже учатся складывать бельё и сортировать детали, но такие показы, по словам Ai2, обычно узкие и не объясняют, что робот выучил и почему ошибается. Институт сравнивает ToyBlocks с чашкой Петри: в маленьком управляемом мире можно поменять одну вещь в данных или устройстве модели, повторить опыт и увидеть разницу.

Как это работает: исследователь задаёт задачу целиком — например, сложить башню, которая читается как слово. Планировщик сам разбивает её на навыки: толкнуть, перевернуть, повернуть, переставить. Каждый план проигрывается в симуляции и превращается в готовый пример для обучения, так что человеку не нужно дистанционно водить руку робота. Одна видеокарта прогоняет сотни планов параллельно — до 24 раз быстрее реального времени.

Из-за букв на гранях раскладка превращается в задачу на поиск: иногда кубик приходится сначала перевернуть, чтобы увидеть скрытую грань. Симулятор знает точное положение каждого кубика, но обучаемым моделям его не сообщает: они видят сцену только через камеры, как настоящий робот. Сам ToyBlocks построен на Isaac Lab — открытой среде NVIDIA для обучения роботов в симуляции.

В цифрах: что вошло в первый выпуск.

• 85 336 записей того, как робот выполняет многошаговое задание; в каждой от 6 до 12 отдельных навыков.
• Около 1 600 часов работы робота и 144 млн кадров.
• Две обученные модели, генераторы заданий и примеров, код для обучения и проверки.
• Код ToyBlocks открыт под лицензией Apache 2.0.

Детали: первые же опыты показали, что популярные модели, которые по картинке с камер и команде словами двигают руку робота, плохо переносят выученное на новую раскладку. ManiFlow, π0.5¹ и MolmoAct 2 учили, например, на кубиках, которые появлялись только в левой части стола, а проверяли в правой. Или показывали им башни из двух и пяти кубиков, а просили собрать из трёх и четырёх. Плохо справилась и собственная MolmoAct 2 института: 4 ноября Ai2 сообщал, что в тестах на руке Franka без дообучения она уступила только GPT-6 Astra.

Пара моделей, обученная только в симуляции, работает и на настоящем роботе. Molmo 2, модель Ai2 для работы с изображениями, выбирала навык и кубик, а ManiFlow вела руку. На роборуке Franka FR3² они собрали слово из трёх кубиков в 15 попытках из 30. В симуляции получилось 111 раз из 200. Проверяли самый простой вариант, где буквы сразу видны и стоят ровно, и сам Ai2 оговаривается, что для надёжных выводов попыток нужно больше.

Интрига: к ToyBlocks можно подключить Claude или другую передовую модель и давать роботу задания обычными словами. Claude Opus 5.5 решила все 30 классических задач на планирование башен. Но когда нужно было найти буквы и сложить слово, а в половине сцен не хватало кубика с одной из нужных букв, агент справился или верно признал задачу невыполнимой в 63% случаев. Чаще всего он путал похожие буквы (13% задач) или ставил букву повёрнутой не так (15%).

В одном из роликов Claude Fable 5.1 сама поставила опыт, чтобы понять, как захват поворачивает кубик, подтвердила догадку и собрала башню «Ai2» — но буква A в ней лежит на боку. В Ai2 называют удивительным, что передовые модели, хорошо планируя и рассуждая о пространстве, так часто ошибаются в том, что видят.

Если шире: данные для роботов в симуляции готовят и крупные компании. В октябре NVIDIA добавила в платформу Cosmos шаблоны для синтетических видео редких событий, а Google показала, как Gemini 4 Argon строит по видео физическую симуляцию и готовит в ней данные для обучения. Ai2 свой мир нарочно сужает: по словам института, только так удаётся сразу правдоподобно повторить физику и охватить почти любые задачи с кубиками.

Что дальше: через несколько недель Ai2 обещает второй выпуск — с большим набором данных, новыми навыками, более полными тестами и встроенным обучением с подкреплением³. В более далёких планах — задачи для двух рук и кисти с датчиками силы и касания. ToyBlocks институт называет первым из серии таких миров (FoundationWorlds) и собирается перейти к более сложной обстановке.