Humanity's Last Exam
Бенчмарк из нескольких тысяч очень сложных вопросов экспертного уровня по математике, естественным и гуманитарным наукам; к части вопросов прилагаются изображения. Его создали Center for AI Safety и Scale AI вместе с сотнями специалистов, чтобы оценивать модели, которые почти полностью решают прежние тесты вроде MMLU. Название переводят как «Последний экзамен человечества».
проверено по: en.wikipedia.org ↗
См. также
- MMLUMassive Multitask Language Understanding — бенчмарк из примерно 16 тысяч вопросов с вариантами ответа по 57 областям знаний: от математики и физики до права, медицины и истории. Его выпустила группа Дэна Хендрикса в 2020 году, и он долго был главным мерилом общей эрудиции языковых моделей. Сильные модели почти исчерпали его, поэтому появились более сложные версии вроде MMLU-Pro.
- GPQAБенчмарк из нескольких сотен вопросов с выбором ответа по биологии, физике и химии уровня аспирантуры. Вопросы составили специалисты так, чтобы ответ нельзя было быстро найти поиском (англ. Google-proof): эксперты с профильной степенью отвечают на них заметно лучше, чем подготовленные неспециалисты с доступом к интернету. Самые надёжные и трудные вопросы выделены в отдельное подмножество GPQA Diamond.
- Scale AIАмериканская компания, которая готовит и размечает данные для обучения ИИ-моделей, в том числе силами людей-разметчиков для обучения с подкреплением на основе отзывов людей. Также оценивает модели, проводит ред-тиминг и строит ИИ-системы для корпораций и государственных заказчиков. Крупный акционер компании — Meta.
- FrontierMathБенчмарк исследовательского института Epoch AI из оригинальных математических задач, составленных и проверенных профессиональными математиками; ответы к ним не опубликованы, поэтому их нельзя было запомнить при обучении. Задачи разбиты по уровням сложности — от университетских до исследовательских, требующих у специалиста часов и дней работы.
- ARC-AGIСерия бенчмарков, которую предложил Франсуа Шолле (Abstraction and Reasoning Corpus for Artificial General Intelligence). Бенчмарк проверяет подвижный интеллект: способность быстро осваивать новые задачи, а не пользоваться накопленными знаниями. Задания легки для людей, но трудны для ИИ. Вокруг бенчмарка фонд ARC Prize проводит конкурсы.
В новостях
Сооснователь Anthropic заявил на встрече МВФ, что сингулярность уже началась
Тест для моделей ИИ из сложных вопросов экспертного уровня по десяткам дисциплин — от математики и химии до классической литературы. Его собрали Center for AI Safety и Scale AI, чтобы проверять модели на пределе человеческих знаний.
Лаборатория Transluce связала с ИИ-агентами сотни поисков в архивах старых газет
Бенчмарк из трудных вопросов экспертного уровня по множеству областей, от математики до гуманитарных наук; его собрали Center for AI Safety и Scale AI.
DeepSeek обновила открытую модель V4.1-Flash и сократила её ответы
Humanity's Last Exam — бенчмарк из очень сложных вопросов экспертного уровня по множеству дисциплин. Вопросы подобраны так, чтобы ответ нельзя было быстро найти в интернете.