Передовые модели не набрали и половины в новом тесте на подсчёт предметов

Шесть передовых моделей не ответили верно и на половину вопросов DecoyCount — нового теста, который проверяет, пересчитывает ли ИИ предметы на картинке или называет число, которое ожидает увидеть.

Тест выпустили стартап Elorian¹ и компания Mercor, которая готовит данные для обучения ИИ. Лучший результат в статье к тесту — 43,17% у GPT-6 Astra. Глава Elorian Эндрю Дай — бывший исследователь Google, работавший над PaLM 2 и Gemini. Изданию Latent Space он рассказал, что Glimpse, первая модель стартапа, вышедшая в октябре, набрала 50,48%.

Почему это важно: по выводу авторов статьи, если модель хорошо рассуждает в целом, это ещё не значит, что она верно рассуждает о том, что видит на картинке.

Детали: по словам Дая, DecoyCount проверяет не только зрение модели, но и то, как она рассуждает об увиденном, а большинство тестов это упускают. Он объясняет разницу на примере яблока перед зеркалом. Модель может вовсе не заметить яблоко, и это ошибка зрения. А может посчитать яблоко и отражение за два предмета, и это уже ошибка рассуждения. Большинство тестов на подсчёт, по словам Дая, смотрят только на итоговое число, поэтому обе ошибки засчитываются одинаково. Тогда нельзя понять, где корень проблемы: в зрении или в суждении. Как именно DecoyCount разделяет эти ошибки, Дай не объяснил.

В цифрах: доля верных ответов на 1 660 вопросов DecoyCount.

Glimpse — замер Elorian, остальные — из статьи к тесту.

Но: Glimpse оценивали отдельно от статьи:

• В статье к тесту Glimpse нет, её 50,48% — внутренний замер самой Elorian.
• Модель прогнали один раз, без агентной обвязки² и инструментов, а шесть моделей из статьи — трижды, с усреднением.
• Картинки и тексты теста в обучение Glimpse не попадали, а проверка на загрязнение данных³ совпадений не нашла, ответил Дай на вопрос издания.

Как это работает: Elorian учит модели «визуальному мышлению»: в цепочке рассуждений модель не только пишет текст, но и создаёт и правит картинки. Дай сравнивает это с человеком, который пересчитывает людей за столом и мысленно вычёркивает их по одному.

Расклад: самые заметные зрительные модели этого года — модели мира, например Atlas от World Labs⁴ и только что вышедшая Genie 4 от Google. AMD купила World Labs после выхода Atlas. Модели мира строят трёхмерную симуляцию, в которой можно перемещаться и двигать предметы. Такие модели, по словам Дая, нужны для прямого действия в мире, а Glimpse — для косвенного: разбор картинки помогает принять решение, например убрать ли ролик пользователя за нарушение правил. «Для этого не нужна трёхмерная визуализация», — говорит он.

Рынки для модели Elorian видит в робототехнике, инженерии и обороне. Дай приводит пример складского робота, который пересчитывает детали в коробке: «Привычный лоток на 12 ячеек может держать всего 10 деталей, а надпись „24 штуки“ не значит, что в коробке всё ещё 24 предмета».