Словарь
FrontierCode
Бенчмарк компании Cognition для агентов-программистов. Он проверяет не только прохождение тестов, но и то, приняли бы мейнтейнеры результат в реальный проект. Задачи вместе с мейнтейнерами отобраны из крупных открытых репозиториев. Оценка идёт по нескольким критериям: правильность, отсутствие поломок в существующем коде, чистота и объём изменений, качество тестов, соответствие принятому в проекте стилю. В отличие от бенчмарков вроде SWE-bench, упор сделан на качество кода, пригодного к слиянию.