Словарь
GDPval-AA
Бенчмарк компании Artificial Analysis на основе набора задач GDPval от OpenAI. Модели работают как агенты с доступом к командной строке и поиску в интернете и выполняют реальные рабочие задачи из десятков профессий: готовят документы, презентации, схемы и таблицы. В отличие от исходного GDPval, результаты оценивает модель-судья вслепую попарным сравнением, а итог выражается рейтингом Эло.