ИИ-агенты сами выбирали опыты и решили научную задачу в 31 попытке из 144

Исследователи из Северо-Западного университета в США выпустили бенчмарк¹ Autonomous Science Bench, где ИИ-агент сам выбирает опыты при ограниченном бюджете. Восемь проверенных агентов справились в 31 попытке из 144.

Почему это важно: большинство научных бенчмарков дают агенту готовые данные или симуляцию, а здесь он сам решает, что стоит измерить, и получает ответы из опубликованных лабораторных опытов. Лишь в одной из шести задач — о катализаторах для получения пропилена — ответы выдаёт модель, обученная на замерах исходного исследования.

Как это работает: агент — обычный помощник программиста вроде Claude Code от Anthropic или Codex от OpenAI, без подсказок под этот тест. Задача здесь называется кампанией — это серия опытов с одной целью. Восемь агентов прошли каждую из шести кампаний по три раза, отсюда 144 попытки. Кампанию агент проходит по шагам:

• Получает цель, правила и немного стартовых измерений, а остальные результаты хранит отдельный сервис — условная лаборатория.
• За три-четыре раунда заказывает партии вариантов — белков, сплавов, условий реакции — и по измерениям решает, что заказать дальше.
• В конце сдаёт программу-предсказатель, которая должна расставить от лучших к худшим варианты, которые заказать было нельзя.

Детали: кампания засчитывается, только если агент пройдёт обе проверки: среди измеренных им вариантов должно хватить удачных, а его программа должна верно выделить лучшие среди тех, что он не измерял. Задачи — по две из биологии, химии и материаловедения: от поиска активных вариантов нуклеазы, фермента, разрезающего ДНК, по данным DeepMind до подбора условий реакции Сузуки² по данным Pfizer.

Расклад: открытые модели работали в простой обвязке³ mini-SWE-agent, поэтому сравниваются связки модели и агента, а не модели как таковые:

• Claude Opus 5.5 в Claude Code справилась в 67% попыток, GPT-5.6 Terra и GPT-5.6 Luna в Codex — в 44% и 28%.
• Claude Sonnet 5.5 и GLM-5.3 Flash справились по два раза из 18, Qwen3.8 27B и MiniMax M3 — по разу, Claude Haiku 4.5 — ни разу.
• Opus 5.5 провалила все три попытки перенастроить белок-датчик, чтобы он реагировал на свинец, а не на цинк: эту задачу решили только обе GPT-5.6.
• Труднее всего дался поиск сплавов железа, кобальта и никеля с высокой коэрцитивной силой⁴: удачных попыток 3 из 24.

В цифрах:

• Бюджет кампании покрывает не больше 11% вариантов-кандидатов, на неё дают 8 часов, а эксперту, по оценке авторов, нужно 8–12.
• Все 18 попыток Opus 5.5 обошлись в 172,90 доллара, Luna — в 6,91, а в пересчёте на одну удачную попытку — в 14,41 и 1,38 доллара.
• Связки с открытыми моделями стоили в 3–4 раза дороже Luna, решили меньше задач и работали дольше: все 18 попыток у GLM-5.3 Flash в сумме заняли 28 часов, у Luna — 6.

Интрига: почти половина из 113 неудачных попыток прошла одну проверку из двух. Claude Sonnet 5.5 чаще хорошо предсказывала, чем находила: в задаче с нуклеазой многие из её 195 удачных вариантов почти повторяли друг друга, и разных «семейств» вышло 142 при нужных 175.

Но: все данные опубликованы, и модели могли запомнить их при обучении. Агентам закрыли известные источники ответов, но полностью снять этот риск, по словам авторов, помогут только неопубликованные результаты живой лаборатории.

Что дальше: авторы хотят подключить сервис к настоящей автоматической лаборатории и предлагают планировщик, который в первую очередь отдаст дефицитные измерения самым способным агентам. Кампании, код и таблица лидеров уже открыты, а научные группы смогут добавлять задачи на своих данных.