Finance Agent
Бенчмарк для оценки ИИ-агентов на задачах финансового аналитика: найти данные в отчётности и рыночных источниках и сделать по ним расчёты и выводы. В отличие от тестов на знание финансов проверяет полный рабочий процесс агента с поиском и вычислениями.
проверено по: vals.ai ↗
См. также
- AutomationBenchБенчмарк компании Zapier, который проверяет, как ИИ-агенты выполняют реалистичные деловые процессы в продажах, маркетинге, поддержке, финансах и HR. Агент работает сразу с несколькими приложениями через их API и должен соблюдать заданные правила. Результат проверяют по итоговому состоянию данных в приложениях, а не с помощью модели-судьи.
- GDPvalБенчмарк OpenAI, который оценивает модели на реальных рабочих задачах специалистов десятков профессий из отраслей с наибольшим вкладом в ВВП США. Каждое задание основано на настоящем рабочем результате опытного профессионала: документе, таблице, презентации и т. п. Эксперты вслепую сравнивают результат модели с работой специалиста — в отличие от бенчмарков из экзаменационных вопросов.
- BrowseCompБенчмарк OpenAI для ИИ-агентов, которые ищут информацию в интернете. Его вопросы устроены асимметрично: короткий ответ легко проверить, но трудно найти, поэтому агенту приходится долго искать и сопоставлять сведения из разных источников. Этим он отличается от бенчмарков вроде Mind2Web или WebVoyager, где проверяется умение выполнять действия на сайтах.
В новостях
Good Start Labs улучшила модель в финансах с помощью игры о железных дорогах
Бенчмарк, который проверяет, как ИИ-агенты справляются с задачами финансового аналитика: ищут данные, считают и делают выводы.