Google выпустила тест для ИИ-агентов на работу с чертежами и схемами

Google вместе с Artificial Analysis¹ выпустила MKA — тест для ИИ-агентов, которым мало прочитать текст. Агенту нужно разобраться в чертежах, схемах и графиках и сдать готовую работу: отчёт, презентацию или таблицу с расчётами.

Почему это важно: по оценке Google, большинство тестов на интеллектуальный труд можно пройти, ни разу не взглянув на картинку или вёрстку страницы. В MKA так не выйдет. В техническом отчёте компания показывает, что модели без доступа к изображениям пытаются это возместить и не справляются.

Как это работает: 200 заданий составили специалисты из 83 профессий в 10 отраслях — от архитекторов и биологов до оценщиков страховых рисков и аналитиков данных. Каждое задание — многошаговый проект, на который у опытного профессионала уходит от трёх до восьми часов. Агент получает запрос и набор файлов. Готовую работу сверяют с перечнем примерно из 70 пунктов, который составил эксперт: по каждому проверяющий отвечает «да» или «нет». Три четверти веса в нём приходится на точность фактов, четверть — на оформление.

Детали: все модели проходят тест в одинаковых условиях — в открытой обвязке² Stirrup от Artificial Analysis, с одними и теми же инструментами, изолированной средой и лимитом ходов. Оценивает работу ИИ-проверяющий на модели не от Google; по данным Artificial Analysis, это GPT-6 Luna. Он открывает каждый файл, отрисовывает страницы, смотрит формулы в таблицах и сверяет результат с перечнем эксперта. Когда эксперты сами оценили ответы моделей, их оценка совпала с машинной в 96% случаев.

Расклад: по словам Google, её новая передовая модель Gemini 4 Carbon заняла второе место по качеству и выполняет задания в среднем в шесть раз дешевле лидера. Первое место в таблице Artificial Analysis, где сейчас 21 модель, у Claude Fable 5.2 от Anthropic: в среднем она выполнила 57% требований из перечней экспертов с учётом их веса. У Gemini 4 Carbon — 54%, у Claude Opus 5.5 — 53%. Google подчёркивает, что её модель стоит на Парето-фронте: ни одна из проверенных моделей не обходит её сразу и по качеству, и по цене. Разработчики могут подключить Gemini 4 Carbon через Gemini API в Google AI Studio.

Интрига: на одних и тех же заданиях модели работают очень по-разному. Одним в среднем хватает около 30 ходов на задание, другим нужно около 130 при лимите в 250. Ход — это один шаг агента, например открыть файл или запустить код.

Если шире: это не единственный такой тест за неделю. OpenAI 6 ноября представила BioBasicsBench — 100 задач по данным настоящих биологических опытов, где агент должен разобрать сырые результаты и найти в них ошибки.

Основной набор из 200 заданий закрыт: его хранит и прогоняет Artificial Analysis, чтобы задания не попали в данные для обучения и модели не нашли их через поиск. С форматом может познакомиться любой: на Hugging Face³ выложены 10 открытых заданий, а проверить свою модель можно на сайте Artificial Analysis.