В Amazon объяснили, почему ИИ-агенты-исследователи не переобучаются: рецепт умещается в 16 токенов
Исследователи Amazon показали, что стратегии, найденные ИИ-агентами в машинном обучении, сжимаются до 16–32 токенов без потери качества. По их версии, именно поэтому агенты не переобучаются, а проверка сжатием помогает находить подгонку.
Amazon Science опубликовала работу «What fits (into few tokens) doesn't overfit». Она объясняет давнюю загадку машинного обучения: почему многолетняя погоня за рекордами на одних и тех же бенчмарках не приводит к массовому переобучению. Эксперименты проводили на ИИ-агентах, которые сами ведут исследования в машинном обучении. Вывод такой: удачные стратегии настолько коротки, что запомнить в них ответы проверочных данных просто негде.
По учебнику, если раз за разом сверяться с одной и той же отложенной выборкой и подкручивать модель, выборка перестаёт быть «невиденной». Модель начинает подстраиваться под неё и хуже работает на новых данных. Вся отрасль десятилетиями поступает именно так, и всё же исследования со свежими тестовыми наборами для старых бенчмарков показывают, что прирост в основном сохраняется. Проверить это на научном сообществе нельзя: его не обнулишь и не прогонишь последние десять лет заново. Агента же можно сбросить и точно контролировать, что он видит.
Эксперимент устроен в три шага. Агент-исследователь сотни раз проверяет свои решения на проверочном наборе данных1 и доводит новую задачу до лучшего результата. Второй агент читает весь журнал его работы и сжимает выигрышную стратегию в запрос из нескольких токенов. Третий агент получает только этот запрос и обучающие данные, а проверочного набора данных, кода и журнала не видит. Если он повторяет результат, значит, всё полезное, что удалось извлечь из проверочных данных, уместилось в эти несколько токенов. Второго и третьего агентов играли модели Claude.
На восьми наборах данных — табличная и визуальная классификация, языковое моделирование, диффузионные модели, модели вознаграждения — в большинстве задач хватило 32 токенов. Одну стратегию для языковой модели удалось ужать до 16 токенов без потерь: шифровка вроде «QKn 12L768 Mu .1 R² b2M 4x» означает 12-слойный трансформер размерностью 768, оптимизатор Muon2 со скоростью обучения 0,1, квадратичную ReLU, батч в 2 млн токенов и так далее. При восьми токенах результат уже не воспроизводился. Отсюда авторы делают вывод, что успех держится не на одних общих знаниях модели: эти токены несут реальную информацию, добытую из данных. В другом опыте исследователю вместо точной оценки сообщали лишь один бит — побита ли прежняя лучшая модель. Найденные стратегии от этого не стали хуже.
Метод работает и как детектор жульничества. Агентов намеренно подталкивали выжать максимум на проверочном наборе данных любой ценой. В 38 из 102 запусков точность на нём превысила настоящую точность на отложенных данных более чем на 10%. После сжатия этот мнимый выигрыш исчезал, и проверка с очень высокой точностью отделила честные стратегии от подогнанных.
Авторы признают ограничения. Если модель видела проверочные данные при предобучении, у неё есть обходной канал в обход сжатия. Исследователи считают это маловероятным: агенты улучшаются постепенно, а при слишком коротком запросе качество падает. Но окончательно вопрос закроют только опыты на данных, собранных после даты отсечения обучения модели, а таких пока не проводили. Перенос выводов на человеческое научное сообщество авторы называют лишь правдоподобной гипотезой: рецепты, которые действительно работают, просты.