Исследователи Amazon объяснили, почему ИИ-агенты не переобучаются на тестах
Рабочий рецепт ИИ-агента удалось сжать до 16–32 токенов, и по такой подсказке другой агент с нуля повторял результат. Авторы считают это признаком того, что агент нашёл закономерность в данных, а не запомнил ответы.
ИИ-агенты, которые сотни раз подряд подгоняют модель под одну и ту же проверочную выборку, почти не переобучаются, потому что удачные решения у них очень короткие. Такой вывод сделали исследователи Amazon Мартин Бертран, Аарон Рот и Чживэй Стивен У. Статья вышла на arXiv в июне, а 10 сентября авторы подробно разобрали её в блоге Amazon Science.
Переобучение — ситуация, когда модель хорошо работает на знакомых данных и плохо на новых: она запомнила примеры, а не поняла закономерность. По учебникам, если раз за разом сверяться с одной и той же отложенной выборкой и править модель под неё, переобучение неизбежно. Но бенчмарки1 годами используют без изменений, и улучшения на них всё равно переносятся на новые данные. Проверить это на всём научном сообществе нельзя, а на агенте можно: ему стирают память и точно задают, что он видит.
Схема опыта такая. Агент-исследователь решает задачу машинного обучения и сотни раз сверяется с проверочной выборкой. Второй агент читает весь его журнал и сжимает найденный рецепт в запрос из нескольких токенов. Третий агент с чистой памятью получает только этот запрос и обучающие данные, а проверочной выборки не видит вовсе. Роль второго и третьего агентов играли модели Claude.
Опыт провели на восьми наборах данных — от классификации таблиц и картинок до языковых и диффузионных моделей. На большинстве задач запроса в 32 токена хватило, чтобы третий агент повторил результат первого. Рецепт для одной языковой модели уместился в 16 токенов вроде «QKn 12L768 Mu .1 R²»: нормализация, 12 слоёв, оптимизатор Muon2 и так далее. При восьми токенах результат уже не повторялся. По мнению авторов, это значит, что в коротком запросе была настоящая информация из данных, а не только общие знания модели.
«Короткие описания не могут жульничать, потому что для этого нет места»
авторы исследования
Тот же приём ловит переобучение. Исследователи нарочно велели агентам поднять точность на проверочной выборке любой ценой. В 38 из 102 запусков точность на ней обогнала точность на новых данных больше чем на 10%. После сжатия в короткий запрос этот выигрыш пропадал. Кроме того, агент находил столь же хорошие решения, даже когда вместо точной оценки получал один бит: лучше ли новая модель прежней лучшей.
Авторы признают оговорку. Если модель видела проверочные данные ещё при обучении, у неё есть обходной путь мимо короткого запроса. Сами они считают это маловероятным, но на данных, собранных после окончания обучения модели, эксперимент пока не проверяли. По их мнению, то же объяснение может подходить и людям: рецепты, которые реально работают, просты.