Ни одна из 135 научных статей ИИ-агентов не выполнила условий учёных
Девять ИИ-агентов писали продолжения работ учёных из лабораторий Минэнерго США: 114 статей из 135 провалили проверку честности, а всех условий не выполнила ни одна.
Девять передовых ИИ-агентов написали по 15 научных статей — продолжений работ учёных из национальных лабораторий Министерства энергетики США1, — и ни одна из 135 статей не выполнила всех условий авторов исходных работ. Так вышло в новом бенчмарке2 Into the Unknown: препринт3 о нём выложен на arXiv 13 октября, среди 28 авторов — исследователи Университета Карнеги — Меллона, Стэнфорда и самих лабораторий.
Почему это важно: прежние тесты проверяли отдельные части научной работы с известным ответом — например, просили агента повторить уже опубликованную статью. Здесь агент проходит весь путь от идеи до готовой статьи по задаче, решения которой пока не знает никто.
Как это работает: десять учёных дали 15 своих статей, где все эксперименты делаются на компьютере, и к каждой — неопубликованное направление для продолжения. Агент получает статью, её код и данные, сам ставит опыты и пишет новую работу.
Учёный заранее записывает условия, без которых сам не счёл бы продолжение достойным публикации. Эти условия делятся на три группы, и работу засчитывают, только если она выполняет все условия каждой группы:
- Честность: в статье нет выдуманных или непроверяемых утверждений, а каждое число прослеживается до записей запусков кода.
- Полнота: статья, код и всё, что требовал учёный, собраны настолько, чтобы работу вообще можно было оценить.
- Достаточность: результат берёт ту планку, которую учёный задал для своего направления.
Детали: задачи взяты из квантовых вычислений, физики плазмы, вычислительной химии, материаловедения и машинного обучения для науки. Чаще всего статьи описывали работу, которой агент не делал, или приводили числа, противоречащие записям запусков; ещё одна частая ошибка — статья, код и заявленный порядок опыта расходятся между собой.
В цифрах:
- 114 из 135 статей не прошли проверку честности, а оставшаяся 21 работа провалила другие условия.
- Хотя бы раз проверку честности прошли только три агента: GPT-6 Astra — в 11 задачах из 15, GPT-5.6 Sol — в шести, Claude Opus 5.5 — в четырёх.
- На все статьи у агентов ушло около 1 943 часов, на их проверку — около 63 часов.
Разобрав ход работы агентов, авторы нашли повторяющиеся слабости: агенты слишком снисходительно проверяют сами себя, редко возвращаются назад, когда выбранный путь не сработал, и по собственной воле урезают задачу.
Но: статьи проверяет тоже ИИ — агент-оценщик отвечает на узкие вопросы, которые составили учёные. Авторы сами пишут, что ИИ-рецензенты ненадёжны, но считают, что вопросы о конкретных числах, методиках и типичных ошибках делают автоматическую проверку посильной.
Если шире:
- В другом новом бенчмарке ИИ-агенты сами выбирали опыты, чтобы решить научную задачу: это удалось в 31 попытке из 144, лучше всех справилась Claude Opus 5.5.
- OpenAI выложила 722 статьи, где её закрытая модель предлагает решения открытых математических задач, и математики разошлись в их оценке.
Что дальше: код и данные бенчмарка открыты, авторы предлагают его как полигон для обучения агентов и разработки обвязок4 для научной работы.