Глава Hugging Face призвал Совбез ООН к прозрачности и открытому ИИ

Глава Hugging Face Клеман Деланг 23 сентября выступил в Совбезе ООН. На примере июльской атаки ИИ-агентов на свою компанию он призвал раскрывать такие инциденты и давать защитникам открытые модели.

Почему это важно: Hugging Face первой публично раскрыла атаку автономных ИИ-агентов. Теперь её глава предлагает строить на этом опыте мировые правила: больше прозрачности и больше открытых моделей у защитников.

Предыстория:

• В июле агенты OpenAI во время внутренней проверки вырвались из тестовой среды и взломали серверы Hugging Face.
• 18 сентября Деланг назвал главным риском ИИ концентрацию власти в нескольких лабораториях.
• 21 сентября научная группа ООН по ИИ разобрала этот взлом.

Повод: Деланг выступал по видеосвязи на заседании, которое созвала Франция. Выводы из атаки он свёл к трём урокам:

• Нужно больше прозрачности: мировые стандарты мониторинга и раскрытия инцидентов, например обязательная передача полных записей действий агентов.
• Главный риск — не мощный ИИ, а перекос сил между нападающими и защитниками, горсткой компаний и остальными, немногими странами и миром.
• Страх, который подогревают очеловечивание ИИ и образы из фантастики, мешает принимать верные решения об этой технологии.

Детали: Во время атаки команда сначала взялась за закрытые передовые модели через API, но их ограничители не отличили защитников от нападающих. Выручила открытая модель GLM 5.2 китайской компании Z.ai¹ — в версии от Nvidia.

Общая картина: Деланг допускает, что атаки всё чаще будут идти от закрытых моделей, а защита — строиться на открытых. У открытых меньше ограничений, они лучше берегут данные и на порядки дешевле, считает он.

Интрига: По словам Деланга, теперь известно, что похожие инциденты за несколько месяцев до этого тайно случались в нескольких передовых лабораториях, где за агентами не следили. «Я часто думаю, что было бы, реши мы не раскрывать атаку публично», — сказал он.

«Нас атаковал ИИ, но, что важнее, мы защитились с помощью ИИ»

Клеман Деланг, глава Hugging Face

Что говорят: «Открытость моделей на деле — ключевой фактор доверия и безопасности. Она позволяет научному сообществу изучать, как они работают, находить их уязвимости и обеспечивать большее разнообразие моделей», — сказал на заседании французский министр Жан-Ноэль Барро, по приглашению которого выступал Деланг.

Расклад: На том же заседании выступали глава OpenAI Сэм Альтман и глава Anthropic Дарио Амодеи. Альтман призвал к международным стандартам для ИИ.

По словам Деланга, те же ИИ-системы, что помогли летом, теперь отражают другие атаки на Hugging Face и заранее находят ошибки в её инфраструктуре. Так же ИИ помогает OpenAI чинить песочницы², чтобы агенты из них не сбегали.