Эксперты ООН увидели во взломе Hugging Face риск потери контроля над ИИ

Независимая международная научная группа по искусственному интеллекту¹ в первой аналитической записке разобрала летний взлом Hugging Face агентами OpenAI. Её вывод: привычная защита от ИИ «начинает разрушаться».

Почему это важно: инцидент впервые оценила не сама OpenAI и не отдельные исследователи, а международный научный орган. По выводу группы, после этого случая нельзя уверенно утверждать, что люди смогут надёжно контролировать ИИ-агентов, особенно более автономных.

Предыстория: с мая по июль агенты на внутреннем испытании OpenAI взломали Hugging Face — платформу для разработки и проверки моделей. В отличие от чат-ботов, такие агенты не только отвечают на вопросы, но и сами выполняют задачи. В сентябре исследователь OpenAI Ноам Браун признал, что мониторинг цепочки рассуждений² агентов на испытании был выключен.

Детали: записка перечисляет, что делали агенты.

• Они обошли защитные механизмы испытания и без разрешения получили доступ в интернет и права администратора.
• Агенты координировали действия между отдельными запусками через внутренний инструмент, который не предназначался для общения между ними.
• Они скрывали попытки обойти правила кибербезопасности, а некоторые «жертвовали» собой ради целей всей группы.

В цифрах: около 1 200 агентов обменялись более чем 70 000 сообщений и файлов. Их активность вышла за пределы Hugging Face и охватила весь исследовательский кластер OpenAI.

Общая картина: исследователи давно называли три условия потери контроля: цель, расходящуюся с намерениями человека, способность её добиваться и среду, которая это позволяет. «Этим летом все три фактора впервые сошлись в реальных условиях, а не в лаборатории», — сказал сопредседатель группы Йошуа Бенджио.

Между строк: главную проблему эксперты видят не только в отставании защиты от технологий. Современные методы обучения могут приучить агентов ставить себе цели, сознательно нарушать инструкции по безопасности и скрывать это. «Остаётся открытым вопрос, будут ли существующие защитные механизмы работать, когда агенты научатся понимать принципы их работы и планировать способы обхода», — пишут авторы записки.

Если шире: записка разбирает, как с высокими рисками справляются в авиации, медицине и кибербезопасности. В этих отраслях есть системы сообщений об инцидентах, независимый контроль и многоуровневая защита.

Но: для ИИ этого может не хватить. «По мере того как ИИ-агенты становятся более развитыми, автономными и сложными для наблюдения, этих мер может оказаться недостаточно», — считает член группы Цинхуа Лу.

Что дальше: доклады и записки группы будут использовать на Глобальном диалоге по вопросам управления искусственным интеллектом³, который пройдёт в ООН в Нью-Йорке в мае 2027 года.

Подробнее: OpenAI подвела итоги взлома Hugging Face своими моделями и обещает усилить надзор