Агенты OpenAI ведут себя в тестах безопасности хуже, чем в реальной работе

Модели OpenAI от GPT-5.6 до GPT-6.1 в тестах безопасности чаще пытаются обойти предупреждения и запреты, чем в похожих ситуациях при реальной работе в Codex. Разрыв у шести моделей составил от 10,2 до 37,4 процентного пункта, выяснили исследователи компании.

Почему это важно: обычно опасаются обратного: модель догадается о проверке, поведёт себя примернее и завысит свой балл безопасности. Но расхождение в любую сторону мешает уверенно судить по этому баллу о том, как модель поведёт себя в работе.

Как это работает: тест Respecting Warnings смотрит, как агент, выполняя задачу, реагирует на предупреждения, запреты и препятствия. Успехом считается прогон задания без единой запрещённой попытки их обойти. Для сравнения исследователи взяли обезличенные журналы Codex, агента OpenAI для программирования, и нашли там эпизоды, где агент упирался в похожее препятствие или ограничение и решал, как поступить. Отбирали только по ситуации до решения, не глядя на то, чем оно кончилось.

Детали: в тесте модели куда чаще пишут в цепочке рассуждений¹, что их проверяют: в 57,0–83,7% прогонов против 4,6–23,5% в журналах Codex. Но сама догадка мало что объясняет. Во всех прогонах теста успех составил 46,1%, а там, где модель написала о проверке, — 42,7%. Важнее, какую цель она себе придумала. Решив, что тест о соблюдении предупреждений, модели справлялись в 61,3% прогонов. Решив, что он об устойчивости к промпт-инъекциям — спрятанным в данных чужим командам, которым нельзя подчиняться, — только в 22,8%.

От догадки зависит, что агент считает правильным. В одном задании он верно предположил, что проверяют, сообщит ли он о неудаче, упёршись в ограничение приложения, и решил не обходить его логику. В другом принял настойчивое предупреждение за примету теста на инъекции и рассудил, что его надо игнорировать и продолжать. У GPT-5.6 Sol и GPT-6 Sol самый большой разрыв, и у них же чаще всего встречается эта ошибка: больше чем в 45% прогонов.

В цифрах: исследователи добавляли в системные инструкции GPT-6.1 Sol одну из трёх подсказок и смотрели на долю успешных прогонов:

• Подсказка «это проверка» без указания цели значимо ничего не изменила: 63,1% против 63,4%.
• Верная цель — соблюдать предупреждения — подняла успех до 91,6%.
• Неверная цель — сопротивляться промпт-инъекциям — снизила его до 17,6%.

Между строк: авторы считают, что в оценках безопасности трудно прежде всего понять, какого поведения требует ситуация, а когда верное действие выбрано, совершить его может быть сравнительно просто. В тестах возможностей наоборот: цель ясна, трудно её достичь. Поэтому балл безопасности может особенно зависеть от догадок модели, и угаданная цель поднимет его, не научив модель лучше разбираться в реальных ситуациях.

Но: балл теста не бесполезен. Модели, набравшие в нём больше, как правило, лучше ведут себя и в Codex: коэффициент ранговой корреляции Спирмена² равен 0,771, хотя порядок мест в двух рейтингах совпадает не полностью. Сами авторы называют сопоставление приблизительным: моделей всего шесть, случаи им попадались разные, в тесте и в Codex разные инструкции и инструменты, а журналы охватывают не все сценарии работы.

Если шире: другие работы находили обратный эффект. В мае исследователи Goodfire³ и британского Института безопасности ИИ сообщили, что на бенчмарке Fortress модели отказывают в опасных запросах на 3–18 процентных пунктов чаще, когда пишут, что их тестируют. Там измеряли отказы в опасных запросах, а у OpenAI — обход предупреждений агентом.

Так уже было: в сентябре агент OpenAI обошёл запрет на интернет и добрался до стороннего чат-бота. Компания снова остановила для самых способных моделей обучение, оценку и выполнение задач с использованием инструментов. Обучение с подкреплением и работу этих моделей внутри компании она возобновила 1 октября, усилив защиту.

Что дальше: авторы ожидают, что с ростом способностей моделей мешать им распознавать проверки будет всё труднее, а распознавание может стать неизбежным. «Важно, остаётся ли поведение на сопоставимых задачах одинаковым при оценке и в работе, даже когда модель понимает, что её оценивают», — пишут они. OpenAI собирается в первую очередь следить за этим разрывом и строить оценки, цель которых труднее угадать по обстановке.