Terminal-Bench
Terminal-Bench — бенчмарк для ИИ-агентов, работающих в командной строке: агент получает задачу в изолированном окружении (собрать проект, настроить систему, починить ошибку), и результат проверяется автоматическими тестами. Выходят разные версии набора задач, поэтому оценки на них несопоставимы между собой.
проверено по: tbench.ai ↗
См. также
- Terminal-Bench-ScienceОткрытый бенчмарк, который проверяет, может ли ИИ-агент выполнить реальные вычислительные исследовательские задачи из естественных наук, математики и инженерии. Задачи пишут действующие учёные. Агент решает их в изолированном терминале, а результат проверяют автоматические тесты автора задачи. В отличие от Terminal-Bench, задачи здесь научные и гораздо длиннее. Проект развивают Стэнфордский университет, Laude Institute и команда Terminal-Bench.
- SWE-benchБенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
- OSWorldБенчмарк и среда для оценки мультимодальных ИИ-агентов на настоящем компьютере. В виртуальных машинах с Ubuntu, Windows или macOS агент выполняет задачи в браузере, офисных и других приложениях и файловой системе, управляя экраном, мышью и клавиатурой. Успех проверяют скрипты по итоговому состоянию системы, а не по тексту ответа.
- Агент для программированияАгент для программирования (coding agent) — ИИ-инструмент, который не ограничивается подсказкой следующих строк кода, а самостоятельно читает проект, редактирует файлы, запускает команды и тесты и исправляет ошибки, пока задача не будет выполнена. Примеры — Claude Code, OpenAI Codex, Cursor и подобные системы; от автодополнения их отличает работа циклом с обратной связью от среды.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Mistral открыла веса улучшенной Large 4 — модели для кода и киберзащиты
Бенчмарк, который проверяет, как ИИ-агенты справляются с практическими задачами в командной строке: настраивают системы, собирают программы, работают с файлами и данными.
Google представила модель Gemini 4 Carbon для кода и киберзащиты
Бенчмарк, в котором ИИ-агенты решают практические задачи в командной строке компьютера: настраивают системы, собирают программы, обрабатывают данные.
Claude Haiku 5.5 обошла GPT-6 Luna в сводном индексе независимых тестов
Бенчмарк, в котором ИИ-агент выполняет задачи в командной строке: собирает и настраивает программы, работает с файлами и данными.
ИИ-агент на мощном ПК не отдаёт данные облаку, но решает меньше задач
Бенчмарк, который проверяет ИИ-агентов на трудных практических задачах в командной строке — от настройки системы до сборки программ и обработки данных.
Инженер Anthropic рассказал, как моды меняют Claude Code изнутри
Бенчмарк, в котором ИИ-агенты решают практические задачи в командной строке — от сборки и настройки программ до задач по безопасности.
Xiaomi выпустила малую модель для агентов, дообученную на данных MiMo-V2.6
Бенчмарк, в котором ИИ-агент выполняет задачи в командной строке: настраивает окружение, собирает программы, работает с файлами.
Xiaomi выложила открытую модель MiMo-V2.6-Pro-RL на триллион параметров
Бенчмарк для ИИ-агентов, которые выполняют задачи в командной строке: настраивают системы, собирают программы, работают с файлами.