ARC-AGI-3
Третья версия бенчмарка ARC-AGI от ARC Prize Foundation — интерактивный тест, в котором ИИ-агент попадает в незнакомые игровые среды без инструкций и должен сам выяснить правила и цель. Проверяет способность обобщать и учиться на ходу, а не запас знаний; среды намеренно лишены слов, цифр и узнаваемых символов.
проверено по: arcprize.org ↗
См. также
- ARC-AGIСерия бенчмарков, которую предложил Франсуа Шолле (Abstraction and Reasoning Corpus for Artificial General Intelligence). Бенчмарк проверяет подвижный интеллект: способность быстро осваивать новые задачи, а не пользоваться накопленными знаниями. Задания легки для людей, но трудны для ИИ. Вокруг бенчмарка фонд ARC Prize проводит конкурсы.
- SimpleBenchБенчмарк для больших языковых моделей: вопросы с выбором ответа на пространственно-временные рассуждения, социальный интеллект и устойчивость к вопросам с подвохом. Задачи подобраны так, что люди без специальной подготовки (на уровне школьных знаний) решают их лучше передовых моделей. Большая часть вопросов закрыта, чтобы модели не могли выучить ответы при обучении.
- Humanity's Last ExamБенчмарк из нескольких тысяч очень сложных вопросов экспертного уровня по математике, естественным и гуманитарным наукам; к части вопросов прилагаются изображения. Его создали Center for AI Safety и Scale AI вместе с сотнями специалистов, чтобы оценивать модели, которые почти полностью решают прежние тесты вроде MMLU. Название переводят как «Последний экзамен человечества».
В новостях
Аспирант MIT Алекс Чжан считает, что Claude Code, Codex и Pi устроены почти одинаково
Третья версия теста ARC-AGI от фонда ARC Prize: вместо статичных головоломок модель проходит незнакомые интерактивные игры, правила которых должна понять сама.