MLE-bench
Бенчмарк OpenAI, который проверяет, насколько хорошо ИИ-агенты справляются с инженерными задачами машинного обучения. Составлен из соревнований Kaggle: агент должен сам подготовить данные, обучить модель, провести эксперименты и сдать решение, а результат сравнивается с таблицами лидеров среди людей и оценивается по медалям Kaggle.
проверено по: openai.com ↗
См. также
- KaggleKaggle — принадлежащая Google онлайн-платформа для специалистов по данным и машинному обучению. На ней проводят соревнования по построению моделей, публикуют открытые наборы данных и модели, ведут вычислительные блокноты и учебные курсы.
- MLR-BenchMLR-Bench — открытый бенчмарк для оценки ИИ-агентов на открытых исследовательских задачах по машинному обучению. Задачи взяты из тематики семинаров конференций NeurIPS, ICLR и ICML. Агент проходит весь цикл: выдвигает идею, составляет план исследования, ставит эксперименты и пишет статью. Работу проверяет набор моделей-судей MLR-Judge по заранее заданным критериям — как по отдельным этапам, так и по итоговой статье. В отличие от бенчмарков, где нужно решить чётко поставленную задачу, здесь оценивается качество самостоятельного исследования, в том числе достоверность экспериментальных результатов.
- SWE-benchБенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
В новостях
ИИ-агент готовит таблицы для модели Google TabFM и снижает её ошибки
Бенчмарк OpenAI, который проверяет ИИ-агентов на задачах из соревнований Kaggle: агент должен сам подготовить данные, построить модель и сдать решение.