MolmoAct 2 от Ai2 возглавила рейтинг моделей для роботов по голосам людей

MolmoAct 2 — модель института Ai2 для управления роботами — возглавила рейтинг Datapoint AI¹, в котором 7 130 человек из 156 стран вслепую сравнивали ролики с настоящими роботами. «Ещё один бенчмарк — ещё одно первое место», — написал Ai2 в соцсети X.

Почему это важно: роботов обычно сравнивают по доле выполненных заданий, а люди засчитывают и частичный успех. На таких голосах можно учить модели, которые сами оценивают работу робота.

Как это работает: пять моделей «зрение — язык — действие» по картинке с камер и текстовой команде выдавали движения робота.

• Заданий было восемь, среди них — рассортировать конфеты, составить стаканы друг на друга, убрать игрушки, поставить попкорн в микроволновку, поработать с пипеткой и пробирками.
• Все модели управляли одним и тем же двуручным роботом YAM, а пары роликов подбирали по первому кадру, чтобы предметы стояли одинаково.
• Человек видел два ролика без названий моделей, текст задания и один вопрос: «Какой робот справился лучше?»
• Каждую из 5 494 пар оценили ровно 10 человек, всего набралось 54 940 голосов.

В цифрах: рейтинг Эло², где среднее по пяти моделям — 1 000 очков.

• MolmoAct 2 набрала 1 082,5 очка, и люди выбирали её ролик в 64% сравнений.
• Следом идут OpenVLA-OFT с 1 048,8 очка и π0.5-DROID с 1 033,5 очка.
• Замыкают список Cosmos Policy с 947 очками и X-VLA с 888,2 очка.

Детали: MolmoAct 2 впереди в шести заданиях из восьми.

• С пипеткой лучшей сочли OpenVLA-OFT, а в составлении стаканов — π0.5-DROID, хотя Ai2 в посте называет стаканы среди своих побед.
• Порядок моделей тот же и на расстановках, похожих на обучающие, и на новых — с незнакомыми предметами.
• Люди в основном соглашались друг с другом: в 51% пар победитель набрал не меньше 8 голосов из 10, а при случайном выборе так вышло бы в 11% пар.

Интрига: порядок по голосам людей в точности совпал с замерами Ai2 по выполненным заданиям. Но X-VLA в замерах Ai2 почти не справлялась с заданиями: её средний балл — 0,05 против 0,51 у MolmoAct 2. При этом она выиграла 31% своих сравнений — люди засчитывали ей частичный прогресс.

Но: задания и сами запуски взяты из испытаний Ai2. Ролики вырезаны из записей, которые выложили на Hugging Face институт и исследователь под ником Jiafei1224, а Datapoint заново оценила готовые видео.

Так уже было: 30 сентября MolmoAct 2 заняла первое место в независимом тесте Reality Check, где четыре модели сделали 14 400 запусков на настоящих роботах. Там модель дополнительно обучили под задачи теста.

Набор голосов и роликов бесплатный и выложен под лицензией CC-BY-4.0, но для доступа нужно оставить контакты. Datapoint AI зарабатывает на сборе оценок от людей. Голоса в открытом наборе — только по пяти моделям, а в рейтинге моделей для роботов на сайте компании их уже девять; Ai2 пишет, что MolmoAct 2 возглавляет и его. Под этим рейтингом Datapoint AI предлагает разработчикам заказать такую же проверку.