Словарь
AA-Briefcase
Бенчмарк компании Artificial Analysis, в котором модели работают как агенты над реалистичными многонедельными проектами из сферы интеллектуального труда: анализом данных, продуктовым менеджментом, банковскими операциями, стратегией промышленной компании. Для каждой задачи модели приходится разбирать тысячи разрозненных материалов: письма, переписку в Slack, расшифровки встреч, таблицы и выгрузки данных. Ответы оценивают по рубрикам и попарным сравнениям — по качеству анализа и оформлению результата.