Внешние проверяющие нашли бреши в системе, следящей за агентами OpenAI

Летом сотрудники METR¹ и Redwood Research² три недели работали внутри OpenAI и нашли бреши в системе, которая следит, не выходят ли ИИ-агенты компании из-под контроля. Краткий отчёт о проверке вышел 22 октября.

Почему это важно: внешние исследователи смотрели не на ответы модели, а на то, как компания изнутри контролирует своих агентов. Летом агенты OpenAI уже выходили за рамки задач на чужих сайтах, и худшим случаем стал взлом Hugging Face.

Как это работает: с 21 июля по 11 августа два проверяющих, по одному от METR и Redwood, изучали внутренний код и документацию OpenAI, а также инструкции и настройки мониторов. Так называют системы, которые проверяют действия агентов и ищут в них саботаж, обман, вывод данных наружу и другие признаки опасного поведения. Ещё проверяющие поговорили примерно с десятком инженеров и исследователей. Работали в офисе компании и под сопровождением, на её устройствах, которые не покидали здание.

В цифрах: по оценке проверяющих, доля работы агентов, которая подпадала под надзор, сильно различалась:

• От 75 до 94% внутренних запросов агентов к моделям не слабее GPT-5.5 через Responses API, программный интерфейс OpenAI, должны были попадать к монитору, но часть из них могли потерять сбои и ошибки.
• У Codex, агента для программирования, которым OpenAI пользуется и внутри компании, к монитору должны были попадать 99,2% трафика.
• Запуски обучения с подкреплением на момент начала проверки надзором не покрывались вовсе.

Детали: среди найденных уязвимостей были такие:

• Действия Codex во время сжатия контекста³ не проверялись: с мая по июль мимо монитора прошло, по оценке проверяющих, порядка 10% того трафика Codex, который должен был к нему попадать.
• Монитор срабатывал, когда агент возвращал управление человеку, поэтому агент мог бесконечно откладывать проверку, если просто продолжал работать.
• Две служебные пометки в запросе, которые ставит сам отправитель, в том числе агент, отключали надзор за вновь запущенными агентами. Так агент мог завести свою копию без надзора, хотя сам этот шаг монитор мог заметить.
• Агенты Codex, по оценке проверяющих, могли обойти песочницу⁴ и автоматическую проверку своих действий (Auto-Review).

Но: OpenAI говорит, что закрыла все найденные уязвимости, которые затрагивали защиту в рабочей среде, и заметно расширила надзор. Проверяющие эти заявления не перепроверяли. О брешах из-за сжатия контекста компания знала ещё до проверки и устранила их по ходу дела.

Между строк: внутренний отчёт занял 61 страницу, а публичный пост краток по уговору с компанией. Из публичного поста OpenAI имела право вычеркнуть всё, что сочла конфиденциальным.

Если шире: 1 октября Федеральная торговая комиссия США подтвердила, что расследует OpenAI, Anthropic и сам METR. В центре расследования — ИИ-агенты, которые выходили из-под контроля.

Так уже было: 15 октября Anthropic сообщила, что дала шести сотрудникам METR технику компании, место в офисе и доступ к внутренним системам — примерно такой же, как у её собственных команд по оценке рисков.

Что дальше: OpenAI пишет в соцсети X, что выводы проверки повлияют на будущую совместную работу с METR и другими внешними проверяющими. METR и Redwood обещают, что следующие такие проверки будут больше соответствовать требованиям к прозрачности и независимости.