ARC-AGI-2
Вторая версия теста ARC-AGI для оценки способности систем искусственного интеллекта выявлять закономерности по нескольким примерам и применять их к новым задачам. В каждой задаче нужно определить правило преобразования сеток из цветных клеток и построить результат для новой входной сетки. По сравнению с первой версией усилен акцент на понимании значения символов, сочетании нескольких правил и их применении с учётом контекста.
проверено по: arcprize.org ↗
См. также
- ARC-AGIСерия бенчмарков, которую предложил Франсуа Шолле (Abstraction and Reasoning Corpus for Artificial General Intelligence). Бенчмарк проверяет подвижный интеллект: способность быстро осваивать новые задачи, а не пользоваться накопленными знаниями. Задания легки для людей, но трудны для ИИ. Вокруг бенчмарка фонд ARC Prize проводит конкурсы.
- ARC-AGI-3Третья версия бенчмарка ARC-AGI от ARC Prize Foundation — интерактивный тест, в котором ИИ-агент попадает в незнакомые игровые среды без инструкций и должен сам выяснить правила и цель. Проверяет способность обобщать и учиться на ходу, а не запас знаний; среды намеренно лишены слов, цифр и узнаваемых символов.
В новостях
Thinking Machines выпустила модель Inkling 2 Small и обещает сделать её открытой
Вторая версия теста ARC-AGI из головоломок с цветными клетками: по нескольким примерам нужно понять правило и применить его к новой задаче. Тест проверяет умение обобщать, а не запас знаний.