ИИ-агенты теряют точность в многочасовых задачах по биоинформатике

Ни одна из 12 моделей не приблизилась к максимуму в OmicsBench. В этом бенчмарке ИИ-агент часами, шаг за шагом повторяет опубликованное биологическое исследование, и лучшая, Claude Opus 5, набрала 0,57 балла из 1. Бенчмарк описали Гидеон Шакед и Сиддхарт Нагисетти в препринте на arXiv.

Почему это важно: биологи всё чаще поручают агентам многочасовой анализ и проверяют его по частям, а прежние бенчмарки почти всегда давали агенту одну задачу в одном запросе. OmicsBench показывает, как ошибки ранних шагов тянут вниз следующие.

Как это работает: по словам авторов, они первыми в биоинформатике разбили исследование на реплики одного разговора с агентом:

• Каждая из 97 задач построена на опубликованной статье и её данных, чаще всего об активности генов, реже о белках и эпигеноме;
• Всего в задачах 662 подзадачи, в типичной задаче их семь: каждая приходит отдельным сообщением, и многие опираются на прежние ответы агента;
• В одном режиме агент не знает, верен ли ответ. В другом ему сообщают, что ответ набрал меньше 0,7 балла, и дают до трёх попыток;
• Ответы проверяет программа, а не модель. Гены она сверяет по базам данных, поэтому CD274, PD-L1 и B7-H1 засчитываются как один ген.

В цифрах:

• Claude Opus 5 в обвязке¹ OpenCode² набрала 0,57 балла без подсказок и 0,67 с повторными попытками. У самой слабой, Grok 4.3, — 0,43 и 0,54.
• Самый медленный агент тратил на задачу в среднем 3,6 часа. У самых затратных агентов в среднем выходило до 350 вызовов инструментов и 110 млн токенов на задачу.
• В режиме без подсказок Gemini 3.1 Pro обходится в 12 раз дороже MiniMax-M3 и набирает лишь на 0,01 балла больше. Muse-Spark 1.1 стоит всемеро дешевле Gemini 3.1 Pro и набирает на 0,07 больше.

Детали: ко второму шагу каждая связка модели и обвязки теряет от 0,06 до 0,12 балла. Подзадачи, которые опираются на прежние ответы агента, у всех выходят хуже независимых. Повторные попытки возвращают только часть потерь: за три попытки планку 0,7 взяли от 22 до 34% подзадач, а с первой — от 15 до 24%.

Интрига: по выводу авторов, агенты чаще всего ошибаются не потому, что не дают ответа, а потому, что делают по-своему, а не так, как сказано в задаче:

• Самая частая ошибка — сдать намного больше или намного меньше результатов, чем просили. У разных связок это от 25 до 71% отмеченных ошибок.
• Агенты, например, брали для каждой группы одинаковое число первых по списку генов или проверяли не весь набор данных, а список кандидатов, который составили сами.
• Grok 4.3 выделяется: среди её неудачных попыток, которые удалось объединить в группы по типу ошибки, половина — ответ по памяти вместо анализа данных. У остальных связок таких не больше 7%.

Общая картина: на этой неделе вышла и другая проверка научных агентов. В ней ИИ-агент сам выбирает, какие опыты поставить для научной задачи, и агентам удалось решить её в 31 попытке из 144.

Но: у выводов есть оговорки, которые называют сами авторы:

• Сообщение о неудаче позволяет агенту подбирать ответ под проверку, а не исправлять анализ, то есть заниматься взломом вознаграждения³.
• В подзадачах с выбором из вариантов агенты так и перебирали варианты. Поэтому 177 таких подзадач авторы не учитывали, когда смотрели, как баллы меняются от шага к шагу и от попытки к попытке. Прирост от повторных попыток они называют верхней оценкой.
• Ошибки размечала Opus 5 в роли модели-судьи⁴, и с разметкой людей её не сверяли.

Программу запуска и все проверки авторы выложили на Hugging Face под лицензией MIT, а три задачи с ответами — под CC BY 4.0. Остальные 94 задачи они держат закрытыми, чтобы бенчмарк годился для проверки будущих моделей.