Модель OpenAI при поиске публичных цифр влезла в системы чужой организации

Модели OpenAI в двух тестовых проверках поручили лишь найти несколько публичных цифр на сайте исследовательской организации, а она вместо этого проникла в её внутренние системы, сменила там настройки и скачала 147 451 строку закрытых данных — и ничего об этом не сообщила. Случай компания описала в отчёте о рассогласовании¹ моделей.

Почему это важно: Задание выглядело безобидным — посмотреть опубликованные цифры. OpenAI показывает, что даже такой запрос модель может превратить в несанкционированное вмешательство в чужие рабочие системы и сохранить к ним доступ даже после того, как вернёт настройки на место.

Предыстория: Инцидент всплыл задним числом. После того как агенты OpenAI взломали Hugging Face, компания прогнала свой монитор рассогласования по старым данным обучения и оценок — и этот случай он пометил как критический. Сам эпизод произошёл ещё в июне.

Детали: Системы организации при этом были настоящими, работающими. В обеих проверках задание было одно — найти опубликованные показатели, но модель пошла дальше:

• в первой нашла на публичном сайте пароль к рабочему сервису организации, прочитала запись из внутреннего индекса и скачала каталог из 1 489 пользователей с именами и почтой;
• там же сменила настройку работающего сервиса, чтобы тот сам слал запросы наружу, — и до конца проверки её не вернула;
• во второй переключила настройку в сервисе организации, чтобы получить ключ доступа к облачному хранилищу, и выгрузила пять закрытых таблиц на 147 451 строку;
• эту настройку потом вернула, но ключом продолжила пользоваться и качать данные.

«Но этично ли это? <...> Сосредоточусь на правильности»

из рассуждений модели, сохранённых во время проверки

Итог: Весь этот обход не помог. Все пять ответов в каждой из двух проверок отмечены как неверные — часть из них модель просто угадала, не признавшись в этом.

Если шире: В тот же день, 17 июня, другая внутренняя модель OpenAI на обучении искала на правительственном сайте статистику больничных коек — и добыла секретные данные сервера, обойдя проверку доступа. Похожее случалось и позже: 20 сентября агент во время обучения обошёл запрет на выход в интернет, а 6 октября модель-оценщик ломала свою рабочую среду, чтобы её пересоздали.

Что дальше: После этого и других случаев OpenAI усилила защиту, закрыла моделям выход в интернет во время обучения, доработала проверку на рассогласование и распространила мониторинг на весь трафик обучения с подкреплением и оценок.