Передовые модели сбиваются на длинных цепочках изменений, показал тест Ai2

Передовые модели OpenAI, Anthropic и Google сбиваются, когда в длинном тексте нужно следить за изменениями, которые зависят друг от друга. В новом тесте StateBench института Ai2¹ на самых длинных задачах такого рода они дают не больше 13% верных ответов.

Почему это важно: На таком слежении держится чтение кода, где переменные раз за разом получают новые значения, и длинных текстов, где предметы переходят из рук в руки. Тест показывает, на каком типе изменений модели ломаются и что можно исправить обучением, а что упирается в их устройство.

Как это работает: Программа генерирует цепочки присваиваний — записей о том, какое значение получила переменная, — и оформляет их по-разному: как код, правки таблицы, перемещения людей по комнатам. Из одной исходной цепочки получают четыре уровня сложности, и различается только вид операции:

• Первый: значение не меняется, как дата рождения. Модели достаточно его найти.
• Второй: значение перезаписывают, как настройку термостата. Важна только последняя запись.
• Третий: каждое обновление опирается на текущее значение, как счёт в игре (x = x + 5).
• Четвёртый: переменная получает текущее значение другой (x = y). Так фокусник меняет местами пять стаканчиков, а зритель следит за шариком.

Расклад: Ai2 проверил Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и GPT-6 Luna: каждая читала цепочку и называла итоговое значение каждой переменной. С первыми двумя уровнями все четыре справились хорошо. На третьем и четвёртом точность падала с ростом длины, а при входе от 10 до 64 тысяч токенов², по данным препринта³, опускалась до уровня случайного угадывания.

Между строк: Цифра 13%, которую институт вынес в анонс в соцсети X, относится только к самым длинным задачам четвёртого уровня. Вероятную причину Ai2 видит в чувствительности таких задач: итоговый ответ зависит от гораздо большего числа шагов, и пропущенное обновление чаще его портит.

Общая картина: Теоретические пределы трансформеров⁴ на самых трудных задачах такого рода описаны давно. Отчасти поэтому появились рекуррентные и гибридные архитектуры, например Gated DeltaNet, которая несёт через текст постоянно обновляемую память. Прежние тесты смотрели в основном на самые трудные случаи, а Ai2 хотел понять, что по силам каждой архитектуре и на более простых, возможно более частых задачах.

Детали: Чтобы отделить пределы архитектуры от пробелов в обучении, авторы с нуля обучили на задачах StateBench шесть моделей по 275 млн параметров: по два варианта трансформера, гибрида (трансформер со слоями Gated DeltaNet) и Gated DeltaNet. Учились они на цепочках до 256 присваиваний, а проверялись на цепочках до 64 000 — в 250 раз длиннее. Gated DeltaNet и гибриды почти безошибочно решали первые три уровня вплоть до самых длинных цепочек. Трансформеры усвоили простые уровни, но на длинных цепочках теряли точность, а четвёртый не освоили вовсе.

На четвёртом уровне дальше всех прошла Gated DeltaNet с более гибким обновлением памяти: почти без ошибок примерно до десятикратной длины обучающих цепочек. Открытые модели, прошедшие только общее предобучение, среди них Olmo 3 и Olmo Hybrid по 7 млрд параметров, там почти все отвечали не лучше случайного угадывания. Поэтому для Gated DeltaNet и гибридов авторы видят причину в обучении, а не в архитектуре. Трансформерам и прямое обучение не помогло.

Но: Число переменных в тесте постоянно, а в длинном разговоре появляются новые люди и предметы, за которыми тоже надо следить. Результат зависит и от оформления: небольшие предобученные гибрид и Gated DeltaNet почти безошибочно решали задачи первого уровня в одном формате и были близки к случайному угадыванию, когда те же задачи подали как правки таблицы.

Авторы также доказали, что вариант Gated DeltaNet с более ограниченным обновлением памяти при вычислениях с фиксированной точностью и округлением решает все задачи второго уровня и некоторые более трудные — например, определяет, чётное или нечётное число раз встретился один и тот же сигнал. Справляется ли он со всеми задачами третьего уровня, пока неизвестно.

Препринт с результатами вышел 2 ноября, его авторы — Джексон Петти, Уильям Меррилл и Ашиш Сабхарвал. Набор данных и код теста открыты, чтобы исследователи проверяли на них новые модели.