GDPval
Бенчмарк OpenAI, который оценивает модели на реальных рабочих задачах специалистов десятков профессий из отраслей с наибольшим вкладом в ВВП США. Каждое задание основано на настоящем рабочем результате опытного профессионала: документе, таблице, презентации и т. п. Эксперты вслепую сравнивают результат модели с работой специалиста — в отличие от бенчмарков из экзаменационных вопросов.
проверено по: arxiv.org ↗
См. также
- OpenAI Economic ResearchИсследовательская группа экономистов и специалистов по данным внутри OpenAI. Она изучает, как ИИ влияет на работу, на компании и на экономику в целом, и публикует отчёты для политиков, исследователей и публики. В своих работах группа в том числе опирается на данные о том, как люди пользуются продуктами OpenAI.
- Artificial AnalysisArtificial Analysis — независимая компания, которая сама тестирует ИИ-модели и API-провайдеров и публикует сравнения по качеству, цене, скорости и задержке. Она оценивает языковые модели, а также модели для речи, изображений, видео и музыки, и ведёт сводный рейтинг Intelligence Index.
- SWE-benchБенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
В новостях
Лучшая модель набрала 12% в новом тесте ИИ-агентов от SemiAnalysis
Тест OpenAI, в котором модели выполняют задания специалистов из десятков профессий — готовят отчёты, таблицы, презентации, — а результат сравнивают с работой экспертов.