MLR-Bench

MLR-Bench — открытый бенчмарк для оценки ИИ-агентов на открытых исследовательских задачах по машинному обучению. Задачи взяты из тематики семинаров конференций NeurIPS, ICLR и ICML. Агент проходит весь цикл: выдвигает идею, составляет план исследования, ставит эксперименты и пишет статью. Работу проверяет набор моделей-судей MLR-Judge по заранее заданным критериям — как по отдельным этапам, так и по итоговой статье. В отличие от бенчмарков, где нужно решить чётко поставленную задачу, здесь оценивается качество самостоятельного исследования, в том числе достоверность экспериментальных результатов.

проверено по: arxiv.org ↗