Исследователь предложил проверять заявления о самоулучшении ИИ-агентов

Рост баллов у самоулучшающегося ИИ-агента может означать, что он дольше искал, получил больше данных вроде результатов тестов или его стали иначе проверять, показывает Цзяньпин Лу (Chien-Ping Lu) в статье на arXiv¹.

Почему это важно: Об агентах, которые сами переписывают свой код, память и правила проверки, обычно судят по росту баллов. Лу показывает, что одна эта цифра не отличает более удачный поиск от новых возможностей — задач, которые раньше были агенту недоступны в принципе.

Общая картина: В сентябре 35 исследователей описали пять ступеней к ИИ, который улучшает сам себя. Лу опирается на их работу, но спрашивает о другом: какие изменения агента расширяют круг задач, где проверка может принять его решение, и чем это доказать.

Как это работает: Лу сравнивает два множества задач. В первом проверка может принять решение агента при настройках по умолчанию (базовый охват), во втором — с любой помощью, которую уже разрешает интерфейс (граница). Изменения сдвигают их по-разному:

• Больше попыток не меняет ни одно множество: в примере Лу успех двух стратегий поиска различается сколь угодно сильно, а множества одинаковые.
• Если необязательную подсказку, например результат теста, сделать постоянной, базовый охват может вырасти, но только внутри старой границы.
• Сдвинуть саму границу может только смена проверяющего или допуск того, что прежний интерфейс запрещал.

Детали: Выборочная проверка не заменяет полную. В примере Лу агент чинит функцию, которая по номеру от 0 до 2 достаёт одно из трёх слов массива, а на любом другом номере должна вернуть значение по умолчанию. Задача требует верной работы на восьми номерах, от −3 до 4, а проверяющий пробует только четыре из них. Он пропускает правку, которая на номере −1 возвращает последнее слово вместо значения по умолчанию.

В цифрах: Один удачный прогон случайной проверки — ещё не доказательство. Пусть проверяющий выносит верный вердикт в трёх случаях из четырёх:

• Если решать большинством трёх независимых прогонов, верное решение проходит примерно в 84% случаев, неверное — в 16%.
• Если засчитывать успех хотя бы одного прогона, неверное решение проходит уже в 58% случаев.
• Когда цикл улучшения перебирает много кандидатов, риски ложного выбора складываются, и чем больше кандидатов, тем больше нужно повторов проверки на каждого.

Интрига: Агент, который переписывает сам себя, может решать задачи, недоступные его прежней версии, но не выйдет за рамку, очерченную заранее. Рамка — это все задачи, которые может принять хотя бы одна из допустимых версий агента, и граница каждой отдельной версии лежит внутри неё. Так будет, если у всех версий один и тот же проверяющий: он исполняет код каждой из них и не принимает неверных решений. Порядок проверки и пределы ресурсов тоже должны быть общими.

Но: Выводы касаются только проверок с доказанными гарантиями — точных или случайных, но с известной вероятностью ошибки на каждом решении. Модель-судья² под них не подходит: она может уверенно принимать неверные ответы на целом классе задач, и ни средняя точность, ни повторные вызовы этого не исправят. Потолка для самоулучшения статья не устанавливает.

Лу писал статью с помощью агента для программирования Codex от OpenAI: тот помогал править текст, разбирать литературу, искать и проверять доказательства. Часть утверждений проверена в Lean — системе компьютерной проверки доказательств, а к статье приложен код, который пересчитывает все её примеры.