CursorBench
Бенчмарк компании-разработчика редактора кода Cursor для оценки ИИ-агентов для программирования. Задачи взяты из реальных сессий в Cursor: нечётко поставленные, затрагивающие много файлов, в том числе на понимание кода, поиск ошибок, рефакторинг и ревью. Кроме правильности решения учитывает стоимость, расход токенов и число шагов агента. В отличие от бенчмарков на задачах из открытых репозиториев, таких как SWE-bench, он ближе к повседневной работе разработчиков.
проверено по: cursor.com ↗
См. также
- CursorCursor — редактор кода со встроенным ИИ-ассистентом, созданный компанией Anysphere на основе открытого кода Visual Studio Code. Умеет дополнять код, отвечать на вопросы по всему проекту и выполнять задачи в агентном режиме, опираясь на модели сторонних поставщиков (OpenAI, Anthropic и других) и собственные.
- SWE-benchБенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
- Terminal-BenchTerminal-Bench — бенчмарк для ИИ-агентов, работающих в командной строке: агент получает задачу в изолированном окружении (собрать проект, настроить систему, починить ошибку), и результат проверяется автоматическими тестами. Выходят разные версии набора задач, поэтому оценки на них несопоставимы между собой.
В новостях
SpaceXAI выпустила Grok 4.7 для программирования, цена не изменилась
Внутренний тест компании Cursor для агентов-программистов. Задачи взяты из реальных сессий в редакторе Cursor и затрагивают несколько файлов, а сам набор задач не публикуется.