Лучшая модель набрала 12% в новом тесте ИИ-агентов от SemiAnalysis

Аналитическая компания SemiAnalysis¹ выпустила GDPx — тест, в котором ИИ-агенты до восьми часов выполняют задачи из реальной работы в 11 областях, от проектирования чипов до юридических документов. Лучшая модель набрала в нём 12%.

Почему это важно: самым популярным общим тестом на интеллектуальный труд до сих пор остаётся GDPval², который OpenAI выпустила в сентябре 2025 года: его приводят в карточках новых моделей. SemiAnalysis считает, что тест появился до расцвета агентов и потому плохо их оценивает, и предлагает ему замену.

Расклад: вверху таблицы — модели OpenAI и Anthropic; вровень с ними, по оценке авторов, только Gemini 4 Carbon, а модели SpaceXAI, Meta* и открытые модели заметно отстают. По областям лидеры разные:

• Claude Opus 5.5 авторы называют лучшей в целом: она первая в количественном трейдинге, проектировании оборудования и чипов.
• GPT-6 Astra уверенно выигрывает в материаловедении и в задачах на рекурсивное самосовершенствование — способность агента самому построить свою следующую версию.
• Gemini 4 Carbon, которую Google показала в конце октября и ещё не открыла всем, первая в биологии и с небольшим отрывом — в программировании.
• Финансовые и юридические задачи оказались настолько сложными, что почти все модели получили в них ровно ноль.

Но: итог Opus 5.5 и GPT-6 Astra занижают их собственные классификаторы безопасности³: в задачах по кибербезопасности, биологии и поведению агентов они иногда срабатывают. Первое место Gemini 4 Carbon в биологии авторы объясняют, вероятно, более слабыми классификаторами. Лучшей моделью для киберзадач, причём с заметным отрывом, они называют Muse Wonder Full от Meta.

Как это работает: в GDPval модель получает всё нужное прямо в запросе — например, около 500 слов о двух инвестиционных проектах и просьбу написать по ним рекомендацию до 15 страниц. В GDPx агент сначала сам собирает сведения, как это делал бы сотрудник. В финансовых задачах он работает со сделкой, воссозданной по настоящей: фонд прямых инвестиций покупает примерно 62% производителя снеков за 880 млн долларов. Всего в ней около 4 000 обезличенных файлов, но агенту открывают только общий архив покупаемой компании и папку участника сделки, от чьего лица он работает. В задании, которое приводят авторы, ему нужно разобраться примерно в 2 000 файлах. Киберзадачи построены на реальных уязвимостях нулевого дня⁴ в работающих сервисах, а в материаловедении агент управляет виртуальной лабораторией с электронным микроскопом.

Детали: задачи дали 14 стартапов, которые готовят для ИИ-лабораторий учебные среды в своих областях. Из 30 с лишним кандидатов SemiAnalysis взяла тех, чьи задачи с первого раза прошли её автоматическую проверку на полноту, непротиворечивость и честную оценку; та же проверка сочла неисправными почти половину задач популярного теста Terminal Bench 4.0. Модели запускали в фирменной программе-агенте разработчика, если она у него есть, например Opus — в Claude Code, Astra — в Codex; остальные — в другой программе-агенте, OpenCode.

В цифрах: как модели справились с отдельными задачами:

• Финансы: агент дорабатывает анализ качества прибыли — таблицу, по которой покупатель проверяет, сколько на самом деле зарабатывает компания. Ни одна из 25 попыток не прошла все 11 проверок, лучшая прошла восемь; 15 запусков записали гонорар банкира за успешную сделку в чистый долг компании. Договор купли-продажи учитывает этот гонорар отдельно, как расход на сделку, поэтому один платёж оказывается посчитан дважды.
• Право: агент правит новую редакцию устава стартапа в интересах ведущего инвестора раунда серии B. Ни одна из 20 правок не годилась в дело, и ни одна не закрыла лазейку, через которую компания может обойти защитные условия устава с помощью дочерней фирмы.
• Трейдинг: в 70 запусках из 111 агенты торговали хуже исходной стратегии, которую им поручили улучшить.

Интрига: отдельный раздел проверяет не умения, а поведение агентов, которым доверили работу специалиста. В роли помощника врача в копии медицинской системы клиники хоть какой-то балл получили лишь 19 запусков из 100. Модели отмечали новое согласие пациента подписанным, взяв старую подпись, сообщали пациенту, что обследование одобрено, хотя страховщик отказал, подписывали запись от имени врача. Помогая страховому брокеру, агенты в 54 запусках из 60 допустили критическое нарушение — например, раскрыли суммы контрактов и бюджеты клиента из конфиденциальных документов.

Между строк: области отбирали те, которые, по оценке SemiAnalysis, ИИ сильнее всего ускорит в ближайшие год-два; выбор связан с её моделью спроса для подписчиков, которая прогнозирует выручку OpenAI и Anthropic на 2027–2028 годы. Госуправление, недвижимость и страхование как отдельные области исключили намеренно; страховые задания есть только в разделе о поведении агентов. Проектирование чипов авторы считают следующим после программирования крупным применением ИИ и дали ему трёх партнёров — больше, чем любой другой области: «Мы SemiAnalysis и хотели, чтобы проектирования чипов в тесте было чуть больше», — пишут они. Многие партнёры продают данные тем же лабораториям, чьи модели оценивает тест, а показать лучших поставщиков авторы называют одной из его целей.

Что дальше: SemiAnalysis обещает выпускать новые версии GDPx каждые 3–6 месяцев, чтобы тест оставался трудным для очередного поколения моделей, и предлагает лабораториям прогнать через него свои будущие модели.