Видеомодели проверили на физику, лучшая набрала 57,76 балла из 100

Ни одна из восьми видеомоделей не набрала и 60 баллов из 100 в новом тесте на законы физики: первое место заняла закрытая Seedance 2.5¹ от ByteDance, второе — открытая MiniMax H3.

Почему это важно: авторы теста называют видеомодели моделями мира² — от них ждут, что они предскажут развитие сцены и помогут роботам планировать действия. Ролик, который выглядит убедительно, но нарушает физику, для этого мало пригоден.

Повод: тест World Models' Last Exam in Physics выпустила команда Navers Lab из Einsia.AI, статья вышла на arXiv³ 6 октября. Его заметила MiniMax: «Чья открытая видеомодель мира лучше всех справляется с физикой? Это снова я, MiniMax H3», — написала компания в соцсети X и добавила, что почти догнала лучшие закрытые модели.

Как это работает: у каждой задачи есть первый кадр, запрос с описанием того, что должно происходить дальше, и измеримые физические критерии. Чем всё закончится, запрос не подсказывает.

Проверка идёт в два шага:

• Сначала модель, которая понимает картинки и текст, оценивает, связен ли ролик и видно ли в нём всё, что нужно измерить.
• Затем программа отдельно меряет физику: отслеживает объекты, подбирает кривую, которая описывает их измеренный путь, и фиксирует события вроде удара о поверхность.
• Физическая оценка попадает в итог, только если связность набрала не меньше 80 из 100, и тогда даёт 85% итогового балла.

В цифрах: 40 задач в девяти разделах — от механики и оптики до плавления, электромагнетизма и поверхностного натяжения. Каждая модель сделала по четыре ролика на задачу, всего 1 280 видео.

Итоговые баллы распределились так:

• Первой стала Seedance 2.5 с 57,76 балла — единственная модель теста, к которой обращаются через API.
• Второй — MiniMax H3 с 54,89, третьей — Cosmos 3 Super от NVIDIA с 42,46.
• Ещё четыре модели — две на основе Wan 2.2 от Alibaba, LingBot и Hunyuan 1.5 от Tencent — набрали примерно от 32 до 38.
• Последней оказалась CogVideoX 1.5-5B с результатом 18,81.

Интрига: все ролики со свободным падением мяча прошли проверку на связность, но средний итоговый балл по этой задаче — всего 26,61. Картинка выглядела цельной, а измеренное движение мяча расходилось с законом падения.

Детали: проще всего моделям дались сообщающиеся сосуды — все восемь набрали от 93 до 99. Хуже всего — таяние льда с камнем внутри: в среднем 3,45 балла, лучший результат — 15. Это потолок для ролика, за физику в котором не начислено ни балла: остальные 15% итога дают только за связность.

Но: авторы признают, что метод зависит от того, насколько хорошо в ролике видно нужные объекты: если программа не смогла отследить мяч, это ещё не доказывает нарушения физики. С оценками людей метод совпадает чаще, чем прямая оценка моделью, но далеко не всегда: при ранжировании роликов внутри задачи — в 51,58% пар против 43,40%.

Открытую H3 сторонние команды в сентябре уже ускорили и сжали под игровые видеокарты.