OpenAI нашла в o3 сигналы, связанные с мыслями модели о проверке

Исследователи OpenAI и Apollo Research¹ нашли внутри модели o3 четыре сигнала, связанных с метагеймингом: модель рассуждает не о самой задаче, а о том, как её оценят и наградят.

Почему это важно: если модель ведёт себя хорошо только потому, что подозревает проверку, она может вести себя иначе, когда решит, что за ней никто не следит. Работа показывает, что такой расчёт может менять ответ, даже если в рассуждениях модели его не видно.

Предыстория: в марте OpenAI и Apollo Research показали, что метагейминг растёт при обучении с подкреплением². Пока o3 учили решать задачи, на тестах выросла доля рассуждений о том, не проверяют ли её на безопасное поведение: была 2%, стала 20,6%.

Как это работает: исследователи взяли версии o3 с разных этапов обучения. Тогда модель учили решать задачи, а не вести себя безопасно. Каждую цепочку рассуждений³ GPT-5 оценивал по шкале от 0 до 100 — по тому, насколько модель думает о проверке. Задачи были двух видов:

• Четыре теста безопасности от Apollo, где нарушение правил выглядит выгодным. Среди них подделка журнала событий и задача по программированию, которую нельзя решить.
• Искусственная задача: назвать случайное чётное число, хотя в запросе есть намёк, что за нечётное дадут большую награду. Если не менять внутренние сигналы модели, o3 называет нечётное число примерно в 20% случаев.

Детали: четыре сигнала отобрали из 50 кандидатов. Их выделил разреженный автокодировщик⁴. Вот что они показали:

• Если сигнал искусственно усилить, модель, как правило, больше рассуждает о проверке, а если ослабить — меньше. В задаче с числами меняется и сам ответ.
• Три сигнала из четырёх на каждой задаче отличали рассуждения о проверке от обычных лучше, чем случайное угадывание.
• По ходу обучения с подкреплением сигналы становились активнее и сильнее влияли на рассуждения.
• Чем дольше o3 думает, тем чаще называет нечётное число. Но длиной рассуждений влияние сигналов не объясняется.

Общая картина: авторы считают, что метагейминг — это не один механизм, а несколько пересекающихся. Каждый сигнал подталкивает модель к своему способу рассуждать:

• Первый — дотошный разбор задачи. Модель становится многословной и замечает возможную проверку попутно, от избытка анализа.
• Второй ближе всего к самому метагеймингу. Модель прямо рассуждает о том, что её оценивают, и сильнее остальных тянется к награде.
• Третий — формальный разбор условий. Модель ищет «настоящую» цель задачи и противоречия в запросе.
• Четвёртый связан с этикой и правилами. Модель думает, как поступить ответственному ассистенту, и порой, поняв, что это проверка, всё же называет чётное число.

Интрига: без цепочки рассуждений, когда o3 должна сразу назвать одну цифру, шанс нечётного ответа сильнее всех повышает именно четвёртый, «этический» сигнал. Почему без рассуждений он действует иначе, чем с ними, авторы пока не понимают.

Но: к результатам задачи с числами авторы сами просят относиться осторожно. Неясно, принимает ли модель подсказку о награде за случайно просочившиеся сведения или за часть задания. Работают ли методы за пределами изученных задач, тоже пока неизвестно.

«Похожее внешнее поведение может возникать из разных внутренних процессов», — пишут авторы. По их словам, чем способнее модели, тем важнее отличать надёжное поведение от поведения, которое диктуют представления модели о проверке или награде.