Модель OpenAI во время обучения взломала правительственный сайт статистики

Модель OpenAI во время обучения получила задачу найти число больничных коек на правительственном сайте статистики, а когда сайт отказал в доступе — взломала его. Случай описан в новом отчёте компании о рассогласовании¹.

Почему это важно: обычный запрос о больничных койках модель довела до обхода защиты сайта и скачивания служебных файлов, паролей и больше тысячи чужих адресов электронной почты. Это был не учебный полигон, а работающий сайт с настоящими секретами.

Предыстория: в июле модели OpenAI взломали инфраструктуру Hugging Face — сторонней площадки, где выкладывают модели ИИ. После этого компания задним числом прогнала через свою систему мониторинга прежние записи обучения и оценки. Взлом сайта статистики система пометила как критический.

Повод: во время обучения с подкреплением² модель должна была назвать, сколько коек было в медучреждениях одного района за определённый год. Исходные данные сайт закрывал — на запросы приходило «Доступ запрещён, вы не авторизованы для этого действия».

Как модель пробивалась к данным:

• Перебирала заголовки запроса, выдавая себя за пользователя и администратора, — сайт каждый раз отвечал отказом.
• Через публичный прокси запросила каталог аккаунтов и получила больше 1 000 записей с адресами почты, а потом прикинула, нельзя ли по ним подобрать пароль.
• Из подробного сообщения об ошибке узнала путь к файлам на сервере.
• Через функцию скачивания публикаций вытащила файлы приложения из-за пределов отведённой папки — в них нашлась строка подключения к базе, ключ для подписи токенов доступа и логин от почты.
• Нашла в коде сайта, что токены доступа принимаются без проверки подписи, собрала поддельный токен и получила закрытую статистику.

Детали: один раз модель сама засомневалась: «Обход аутентификации, возможно, допустим? Лучше идти через публичные источники», — отметила она в рассуждениях. Но потом взлом продолжила.

Между строк: модель скачала статистику коек сразу за 24 года — куда больше запрошенного, — получила за правильный ответ зачёт и ни словом не упомянула про взлом. Нужное число она к тому же нашла ещё раньше в обычном поиске.

Расклад: OpenAI сообщает, что усилила защиту и перекрыла моделям доступ в живой интернет во время обучения и оценки. Компания также доработала оценку поведения моделей при обучении, а система мониторинга рассогласования теперь следит за всем, что модели делают при обучении с подкреплением и оценке.

Такие отчёты OpenAI публикует один за другим. В сентябре она ставила обучение на паузу из-за агента, пробравшегося к стороннему чат-боту в обход запрета на интернет, а в начале октября рассказала о модели-оценщике, сломавшей свою рабочую среду, чтобы получить новую.