AA-Briefcase
Бенчмарк компании Artificial Analysis, в котором модели работают как агенты над реалистичными многонедельными проектами из сферы интеллектуального труда: анализом данных, продуктовым менеджментом, банковскими операциями, стратегией промышленной компании. Для каждой задачи модели приходится разбирать тысячи разрозненных материалов: письма, переписку в Slack, расшифровки встреч, таблицы и выгрузки данных. Ответы оценивают по рубрикам и попарным сравнениям — по качеству анализа и оформлению результата.
проверено по: artificialanalysis.ai ↗
См. также
- Artificial AnalysisArtificial Analysis — независимая компания, которая сама тестирует ИИ-модели и API-провайдеров и публикует сравнения по качеству, цене, скорости и задержке. Она оценивает языковые модели, а также модели для речи, изображений, видео и музыки, и ведёт сводный рейтинг Intelligence Index.
- AutomationBench-AAНезависимый вариант бенчмарка AutomationBench компании Zapier, который Artificial Analysis прогоняет на закрытом наборе задач. ИИ-агент выполняет рабочие сценарии в симуляциях сервисов вроде Gmail, Slack, Salesforce и Jira и при этом должен соблюдать бизнес-правила. Если правило нарушено, задача получает ноль баллов.
- Artificial Analysis Intelligence IndexСводный индекс независимой компании Artificial Analysis, которая сравнивает ИИ-модели. Он объединяет результаты языковых моделей в нескольких тестах на работу агентов, программирование, общие знания и научные рассуждения и сводит их в один балл по шкале от 0 до 100. Набор тестов в индексе со временем обновляется.
В новостях
Grok 4.7 уступила только моделям Anthropic в тесте на офисную работу
Бенчмарк компании Artificial Analysis: ИИ-модели выполняют многонедельные офисные проекты, разбирают тысячи рабочих файлов — письма, переписку, таблицы — и сдают готовые результаты. Их оценивают за правильность, качество анализа и оформление.