FrontierCode
Бенчмарк компании Cognition для агентов-программистов. Он проверяет не только прохождение тестов, но и то, приняли бы мейнтейнеры результат в реальный проект. Задачи вместе с мейнтейнерами отобраны из крупных открытых репозиториев. Оценка идёт по нескольким критериям: правильность, отсутствие поломок в существующем коде, чистота и объём изменений, качество тестов, соответствие принятому в проекте стилю. В отличие от бенчмарков вроде SWE-bench, упор сделан на качество кода, пригодного к слиянию.
проверено по: cognition.com ↗
См. также
- CognitionАмериканская компания-разработчик ИИ-инструментов для программирования, создатель автономного агента Devin. Позиционирует свои продукты не как подсказчик кода в редакторе, а как самостоятельного исполнителя инженерных задач.
- SWE-benchБенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
- Агент для программированияАгент для программирования (coding agent) — ИИ-инструмент, который не ограничивается подсказкой следующих строк кода, а самостоятельно читает проект, редактирует файлы, запускает команды и тесты и исправляет ошибки, пока задача не будет выполнена. Примеры — Claude Code, OpenAI Codex, Cursor и подобные системы; от автодополнения их отличает работа циклом с обратной связью от среды.
- МейнтейнерМейнтейнер (maintainer) — человек, отвечающий за развитие и сопровождение программного проекта, чаще всего с открытым кодом: он рассматривает и принимает присланные правки, выпускает новые версии и определяет направление работы. В отличие от рядового контрибьютора, обладает правом записи в репозиторий и правом решающего голоса.
В новостях
На максимальном уровне рассуждений Claude Opus 5.5 не дешевле Opus 5
Бенчмарк компании Cognition, который проверяет, принял бы сопровождающий проекта код, написанный моделью. Учитывает не только правильность, но и тесты, стиль и отсутствие лишних правок.