Artificial Analysis Decision Index
Сводный индекс компании Artificial Analysis для сравнения моделей ИИ в задачах выбора ответа из заданных вариантов. Объединяет проверки знаний, рассуждений, решений о вызове инструментов и классификации, а также учитывает склонность давать неверный ответ вместо признания незнания. Помогает разработчикам сравнивать специализированные модели принятия решений между собой и с языковыми моделями.
проверено по: artificialanalysis.ai ↗
См. также
- Artificial AnalysisArtificial Analysis — независимая компания, которая сама тестирует ИИ-модели и API-провайдеров и публикует сравнения по качеству, цене, скорости и задержке. Она оценивает языковые модели, а также модели для речи, изображений, видео и музыки, и ведёт сводный рейтинг Intelligence Index.
- Artificial Analysis Intelligence IndexСводный индекс независимой компании Artificial Analysis, которая сравнивает ИИ-модели. Он объединяет результаты языковых моделей в нескольких тестах на работу агентов, программирование, общие знания и научные рассуждения и сводит их в один балл по шкале от 0 до 100. Набор тестов в индексе со временем обновляется.
- MMLUMassive Multitask Language Understanding — бенчмарк из примерно 16 тысяч вопросов с вариантами ответа по 57 областям знаний: от математики и физики до права, медицины и истории. Его выпустила группа Дэна Хендрикса в 2020 году, и он долго был главным мерилом общей эрудиции языковых моделей. Сильные модели почти исчерпали его, поэтому появились более сложные версии вроде MMLU-Pro.
- GPQA DiamondСамая строгая часть бенчмарка GPQA (Graduate-Level Google-Proof Q&A): трудные вопросы уровня аспирантуры по биологии, физике и химии с вариантами ответа, составленные и проверенные специалистами с научными степенями. В неё отобраны только вопросы, на которые эксперты ответили верно, а большинство неспециалистов ошиблись даже после долгого поиска в интернете. Используется, чтобы сравнивать, насколько хорошо языковые модели рассуждают в естественных науках.
- SimpleQAБенчмарк OpenAI для проверки фактической точности языковых моделей: несколько тысяч коротких вопросов на факты, у каждого из которых единственный бесспорный и не меняющийся со временем ответ. Ответы оцениваются как верные, неверные или как отказ отвечать, поэтому бенчмарк показывает и точность модели, и то, как часто она выдумывает ответ вместо признания, что не знает.
- КалибровкаСвойство модели, при котором заявленная ею уверенность совпадает с реальной долей правильных ответов: если откалиброванная модель уверена на 80%, она права примерно в 80% таких случаев. Современные нейросети часто оказываются самоуверенными, поэтому их калибруют отдельно. Особенно это важно там, где решения модели выполняются автоматически, без проверки человеком.
В новостях
Индийская Sarvam AI выпустила открытую модель Prism для быстрых решений
Индекс компании Artificial Analysis для сравнения моделей, которые не пишут текст, а выбирают ответ из заданных вариантов. Объединяет тесты на знания, рассуждения, вызов инструментов и классификацию.