ARC-AGI
Серия бенчмарков, которую предложил Франсуа Шолле (Abstraction and Reasoning Corpus for Artificial General Intelligence). Бенчмарк проверяет подвижный интеллект: способность быстро осваивать новые задачи, а не пользоваться накопленными знаниями. Задания легки для людей, но трудны для ИИ. Вокруг бенчмарка фонд ARC Prize проводит конкурсы.
проверено по: arcprize.org ↗
См. также
- ARC-AGI-3Третья версия бенчмарка ARC-AGI от ARC Prize Foundation — интерактивный тест, в котором ИИ-агент попадает в незнакомые игровые среды без инструкций и должен сам выяснить правила и цель. Проверяет способность обобщать и учиться на ходу, а не запас знаний; среды намеренно лишены слов, цифр и узнаваемых символов.
- Humanity's Last ExamБенчмарк из нескольких тысяч очень сложных вопросов экспертного уровня по математике, естественным и гуманитарным наукам; к части вопросов прилагаются изображения. Его создали Center for AI Safety и Scale AI вместе с сотнями специалистов, чтобы оценивать модели, которые почти полностью решают прежние тесты вроде MMLU. Название переводят как «Последний экзамен человечества».
- FrontierMathБенчмарк исследовательского института Epoch AI из оригинальных математических задач, составленных и проверенных профессиональными математиками; ответы к ним не опубликованы, поэтому их нельзя было запомнить при обучении. Задачи разбиты по уровням сложности — от университетских до исследовательских, требующих у специалиста часов и дней работы.
- Общий искусственный интеллектОбщий искусственный интеллект (artificial general intelligence, AGI) — гипотетическая система ИИ, которая справляется практически с любыми интеллектуальными задачами на уровне человека или лучше. В отличие от узкого ИИ, который хорошо решает только заданные задачи, общий искусственный интеллект сам переносил бы знания между областями и решал новые задачи без перенастройки. Создание общего искусственного интеллекта — заявленная цель ряда лабораторий, в том числе OpenAI и Google DeepMind.
В новостях
В симуляции Стэнфорда скрытые задачи тестов не всегда сблизили баллы ИИ-моделей с их пользой
Бенчмарк Франсуа Шолле из визуальных головоломок: по нескольким примерам нужно угадать правило, по которому меняется картинка. Часть задач держат закрытой, чтобы на них нельзя было обучить модель.