Sakana AI научила модель улучшать себя силами команды собственных копий

Японская Sakana AI¹ и исследователи из Калифорнийского университета в Беркли описали метод MASS: модель решает задачи командой собственных копий, сама выбирает лучшую команду и учится на её работе. Статья вышла на arXiv 8 октября.

Почему это важно: у открытых исследовательских задач нет готовых правильных ответов, и людям всё труднее оценивать результат. Авторы проверяют, может ли модель в такой ситуации сама себя учить и экзаменовать, не закрепляя собственных ошибок.

Как это работает: одна и та же модель по очереди играет три роли, а потом учится на результате:

• Исполнитель решает задачу командой виртуальных агентов: координатор раздаёт работу, остальные делают её части, у всех одни и те же веса.
• Оптимизатор перебирает варианты устройства команды: роли, инструкции, что агенты передают друг другу и в каком порядке.
• Оценщик сравнивает результаты разных команд и отбирает лучшие.
• Затем модель дообучают на записях работы лучшей команды, и опыт команды переходит в саму модель.

Детали: за основу взяли Qwen3.6-27B — модель Alibaba с открытыми весами². Всего было 12 синтетических задач по исследовательскому программированию из финансов, робототехники и фармацевтики, их сгенерировала GPT-5.5. Девять задач отвели для обучения, а три, по одной на каждую область, — для проверки; данные для дообучения в итоге дали восемь из девяти. Модель обучали на шести ускорителях NVIDIA H100, первый круг дообучения занял около 19 часов.

В цифрах: авторы прошли два круга, и вот что получилось:

• На четырёх исследовательских бенчмарках — MLR-Bench³, ScienceAgentBench, DSBench и AstaBench — балл в расчёте на один выданный токен вырос в 1,2–1,6 раза.
• На проверочных задачах новая версия выиграла у исходной 69,9% сравнений, после первого круга — 53,9%; судили GPT-5.5 и Claude Opus 4.8, в самом цикле они не участвовали.
• В роли оценщика модель до обучения выносила те же вердикты, что и эти судьи, в 73% случаев, после двух кругов — в 93%.
• Модель, обученная на записях командной работы, обошла модель, обученную на записях одиночного агента, хотя получила на 31% меньше обучающих токенов.

Интрига: модель учили только решать задачи, но она стала лучше и как оптимизатор, и как оценщик: быстрее находила удачное устройство команды и точнее судила результаты. Скорость улучшения, по выводу авторов, упирается скорее в оптимизатор, чем в оценщик: с более сильным оптимизатором удачные команды находились быстрее.

Но: абсолютные баллы выросли неравномерно. На MLR-Bench оценка выросла примерно на треть, а на DSBench почти не изменилась: 0,482 против 0,473. Значит, заметная часть прироста «на токен» объясняется тем, что модель стала тратить меньше токенов.

Общая картина: самосовершенствование ИИ — главное направление Sakana AI. Под него в компании создана отдельная лаборатория RSI Lab, которая занимается рекурсивным самосовершенствованием⁴. Главный научный советник компании — Юрген Шмидхубер.

Если шире: 10 сентября 35 исследователей описали пять ступеней к ИИ, который улучшает сам себя. А 11 октября, в день, когда Sakana AI рассказала о MASS, другой исследователь предложил проверять такие заявления: рост баллов может значить, что агент просто дольше искал, получил больше данных или его проверяли иначе.

Об этом риске пишут и сами авторы MASS. «Когда модель сама себе оценщик, общие слепые пятна могут привести к тому, что ошибки будут приняты за прогресс и закреплены обучением», — предупреждают они.