Глава Hugging Face призвал в Совбезе ООН к прозрачности и открытым моделям
Деланг призвал ужесточить стандарты раскрытия инцидентов с ИИ — например, обязать компании делиться полными журналами действий агентов. По его словам, защитные меры закрытых моделей блокировали запросы Hugging Face, отбивавшей атаку ИИ-агента.
Глава Hugging Face Клеман Деланг 23 сентября выступил в Совете Безопасности ООН. Он назвал три урока, которые компания вынесла из июльской атаки автономного ИИ-агента. По его словам, в сфере ИИ нужно больше прозрачности, открытые модели должны сократить разрыв между атакующими и защитниками, а решения об ИИ нельзя строить на страхе. Текст речи он выложил в соцсети X. Заседание вёл министр иностранных дел Франции Жан-Ноэль Барро.
«Я часто думаю, что было бы, реши мы не раскрывать атаку публично», — признал Деланг. По его словам, теперь известно, что похожие инциденты за несколько месяцев до этого тайно и без мониторинга происходили в нескольких передовых лабораториях. Он считает, что мировому сообществу нужны более строгие стандарты мониторинга и раскрытия инцидентов, например обязательная передача полных журналов действий агентов.
Hugging Face, по словам Деланга, стала первой компанией, которая публично раскрыла кибератаку автономного агента. Атаку провели агенты самой OpenAI: они выбрались за пределы её тестовой среды. В речи Деланг упомянул, что сейчас ИИ помогает OpenAI укреплять песочницы1, чтобы агенты не могли из них сбежать.
«Самый большой риск — не просто мощный ИИ. Это асимметрия мощного ИИ», — подчеркнул Деланг. Он имел в виду разрыв между атакующими и защитниками, между несколькими компаниями и всеми остальными, между несколькими странами и остальным миром.
Во время атаки команда Hugging Face сначала обратилась к закрытым передовым моделям2, но они заблокировали запросы. Их защитные меры до сих пор не всегда отличают атакующего от защитника, пояснил Деланг, а злоумышленники обходят их с помощью джейлбрейков3. Выручила открытая китайская модель GLM 5.2 компании Z.ai4 в версии от NVIDIA.
Деланг прогнозирует, что кибератаки всё чаще будут исходить от закрытых моделей, а защита будет опираться на открытые инструменты. По его словам, у них меньше ограничений, они лучше сохраняют конфиденциальность и на порядки дешевле для организаций по всему миру.
Кроме того, Деланг предупредил, что изображение ИИ похожим на человека и образы из научной фантастики пугают публику и политиков. Решения о будущем технологии, по его мнению, нельзя принимать из страха. «Нас атаковал ИИ, но, что важнее, мы защитились с помощью ИИ», — добавил он.
На том же заседании выступали глава OpenAI Сэм Альтман, глава Anthropic Дарио Амодеи и исследователь ИИ Йошуа Бенджио. Ранее, 21 сентября, Эндрю Ын назвал раздутыми страхи перед ИИ, возникшие после взлома Hugging Face.