ProgramBench
Бенчмарк, который проверяет, может ли ИИ-агент с нуля написать целую программу. Агент получает только готовый исполняемый файл и документацию. Он должен сам выбрать язык и архитектуру и написать код, который ведёт себя так же, как оригинал: от небольших утилит командной строки до FFmpeg и SQLite. Поведение проверяют автоматическими тестами; задача считается решённой, только если программа проходит их все. Бенчмарк создали авторы SWE-bench и их соавторы.
проверено по: arxiv.org ↗
См. также
- SWE-benchБенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
- Terminal-BenchTerminal-Bench — бенчмарк для ИИ-агентов, работающих в командной строке: агент получает задачу в изолированном окружении (собрать проект, настроить систему, починить ошибку), и результат проверяется автоматическими тестами. Выходят разные версии набора задач, поэтому оценки на них несопоставимы между собой.
- NL2Repo-BenchБенчмарк для оценки агентов-программистов на длинных задачах. Агент получает только текстовый документ с требованиями и пустую рабочую папку и должен сам спроектировать и написать с нуля целую библиотеку на Python, которую можно установить. Результат проверяют тестами, которые агенту во время работы не показывают. Этим он отличается от бенчмарков вроде SWE-bench, где агент исправляет код в уже готовом репозитории.
- Агент для программированияАгент для программирования (coding agent) — ИИ-инструмент, который не ограничивается подсказкой следующих строк кода, а самостоятельно читает проект, редактирует файлы, запускает команды и тесты и исправляет ошибки, пока задача не будет выполнена. Примеры — Claude Code, OpenAI Codex, Cursor и подобные системы; от автодополнения их отличает работа циклом с обратной связью от среды.
В новостях
На максимальном уровне рассуждений Claude Opus 5.5 не дешевле Opus 5
Бенчмарк, в котором модель получает только готовую программу и документацию к ней и должна с нуля написать код, повторяющий её поведение. Задачи — от небольших утилит до компиляторов.