HLE-Diamond
Бенчмарк для оценки экспертных знаний и способности ИИ-моделей рассуждать, составленный из отобранных и повторно проверенных вопросов Humanity's Last Exam. Задания рассчитаны на решение без внешних инструментов, хотя предусмотрена и отдельная оценка с их использованием.
проверено по: lastexam.ai ↗
См. также
- Humanity's Last ExamБенчмарк из нескольких тысяч очень сложных вопросов экспертного уровня по математике, естественным и гуманитарным наукам; к части вопросов прилагаются изображения. Его создали Center for AI Safety и Scale AI вместе с сотнями специалистов, чтобы оценивать модели, которые почти полностью решают прежние тесты вроде MMLU. Название переводят как «Последний экзамен человечества».
- GPQA DiamondСамая строгая часть бенчмарка GPQA (Graduate-Level Google-Proof Q&A): трудные вопросы уровня аспирантуры по биологии, физике и химии с вариантами ответа, составленные и проверенные специалистами с научными степенями. В неё отобраны только вопросы, на которые эксперты ответили верно, а большинство неспециалистов ошиблись даже после долгого поиска в интернете. Используется, чтобы сравнивать, насколько хорошо языковые модели рассуждают в естественных науках.
- GPQAБенчмарк из нескольких сотен вопросов с выбором ответа по биологии, физике и химии уровня аспирантуры. Вопросы составили специалисты так, чтобы ответ нельзя было быстро найти поиском (англ. Google-proof): эксперты с профильной степенью отвечают на них заметно лучше, чем подготовленные неспециалисты с доступом к интернету. Самые надёжные и трудные вопросы выделены в отдельное подмножество GPQA Diamond.
В новостях
Модель Alibaba Qwen4-Max обошла прошлую версию на 9 пунктов в индексе Artificial Analysis
Отобранная и очищенная от ошибок часть бенчмарка Humanity's Last Exam («Последний экзамен человечества»): сложные вопросы с однозначным ответом из разных областей науки, на которые модель отвечает без внешних инструментов.