FrontierCode 2.0
Версия бенчмарка Cognition для оценки того, насколько изменения кода, созданные ИИ-агентами, готовы к принятию в программные проекты с открытым исходным кодом. Задания и критерии составляют разработчики, сопровождающие эти проекты; оцениваются корректность, качество тестов и соблюдение правил проекта. По сравнению с предыдущими версиями расширен круг задач и усилена проверка полноты решения, включая учёт требований, которые подразумеваются, но не сформулированы явно.
проверено по: cognition.com ↗
См. также
- FrontierCodeБенчмарк компании Cognition для агентов-программистов. Он проверяет не только прохождение тестов, но и то, приняли бы мейнтейнеры результат в реальный проект. Задачи вместе с мейнтейнерами отобраны из крупных открытых репозиториев. Оценка идёт по нескольким критериям: правильность, отсутствие поломок в существующем коде, чистота и объём изменений, качество тестов, соответствие принятому в проекте стилю. В отличие от бенчмарков вроде SWE-bench, упор сделан на качество кода, пригодного к слиянию.
- CognitionАмериканская компания-разработчик ИИ-инструментов для программирования, создатель автономного агента Devin. Позиционирует свои продукты не как подсказчик кода в редакторе, а как самостоятельного исполнителя инженерных задач.
- SWE-bench VerifiedSWE-bench Verified — вариант бенчмарка SWE-bench, набор реальных задач из открытых репозиториев GitHub, отобранных и проверенных людьми на корректность и решаемость. Модель или агент должны по описанию проблемы внести правку в код так, чтобы прошли соответствующие тесты; этот набор используется как основной ориентир при сравнении ИИ-программистов.
- Агент для программированияАгент для программирования (coding agent) — ИИ-инструмент, который не ограничивается подсказкой следующих строк кода, а самостоятельно читает проект, редактирует файлы, запускает команды и тесты и исправляет ошибки, пока задача не будет выполнена. Примеры — Claude Code, OpenAI Codex, Cursor и подобные системы; от автодополнения их отличает работа циклом с обратной связью от среды.
В новостях
Anthropic выпустила Claude Fable 5.2 и Mythos 5.2 по сниженной цене
Тест компании Cognition для агентов программирования: на закрытых задачах из настоящих открытых проектов он проверяет, приняли бы сопровождающие этих проектов правки, которые предложил агент.