Mercor
Американская компания, которая привлекает профильных специалистов — врачей, юристов, финансистов, инженеров, консультантов — к подготовке данных для обучения моделей ИИ и к проверке их ответов. Её заказчики — разработчики передовых моделей. Mercor также выпускает серию бенчмарков APEX: они проверяют, справляются ли модели с реальными профессиональными задачами.
проверено по: mercor.com ↗
См. также
- Scale AIАмериканская компания, которая готовит и размечает данные для обучения ИИ-моделей, в том числе силами людей-разметчиков для обучения с подкреплением на основе отзывов людей. Также оценивает модели, проводит ред-тиминг и строит ИИ-системы для корпораций и государственных заказчиков. Крупный акционер компании — Meta.
- GDPvalБенчмарк OpenAI, который оценивает модели на реальных рабочих задачах специалистов десятков профессий из отраслей с наибольшим вкладом в ВВП США. Каждое задание основано на настоящем рабочем результате опытного профессионала: документе, таблице, презентации и т. п. Эксперты вслепую сравнивают результат модели с работой специалиста — в отличие от бенчмарков из экзаменационных вопросов.
- AutomationBenchБенчмарк компании Zapier, который проверяет, как ИИ-агенты выполняют реалистичные деловые процессы в продажах, маркетинге, поддержке, финансах и HR. Агент работает сразу с несколькими приложениями через их API и должен соблюдать заданные правила. Результат проверяют по итоговому состоянию данных в приложениях, а не с помощью модели-судьи.
В новостях
Новая GPT-6.2 Astra от OpenAI стала второй в независимом рейтинге, но отзывы о ней разошлись
Американский стартап, который привлекает экспертов из разных областей к подготовке данных и оценке моделей ИИ и выпускает собственные тесты.
ИИ-модели обошли бухгалтеров в тесте Mercor на закрытие месяца
Американский стартап: нанимает врачей, юристов, финансистов и других специалистов, чтобы они готовили данные для обучения моделей ИИ и проверяли их работу. Делает бенчмарки серии APEX — задачи из реальной профессиональной работы.