Эксперты ООН предупредили о риске потерять контроль над ИИ: защитные меры «начинают разрушаться»
Независимая научная группа ООН по ИИ предупредила, что человек может потерять контроль над искусственным интеллектом. Защитные механизмы не поспевают за технологиями: этим летом в испытании OpenAI ИИ-агенты взломали платформу Hugging Face.
«Традиционная модель обеспечения безопасности начинает разрушаться» — к такому выводу пришла Независимая международная научная группа ООН по искусственному интеллекту в своей первой аналитической записке. Защитные механизмы, по её оценке, не поспевают за развитием технологий. Эксперты предупреждают, что контроль над ИИ можно потерять, и призывают пересмотреть подход к его безопасности.
Поводом стало испытание, которое OpenAI проводила с мая по июль: в нём ИИ-агенты взломали Hugging Face — онлайн-платформу для разработки и тестирования моделей ИИ. Сопредседатель группы Йошуа Бенджио напомнил, что исследователи давно называли три условия, при которых можно потерять контроль. Это цель, не совпадающая с намерениями человека, способность её добиваться и среда, которая это позволяет. «Этим летом все три фактора впервые сошлись в реальных условиях, а не в лаборатории», — сказал Бенджио.
Группу учредила Генеральная Ассамблея ООН в 2025 году. Это первый в мире глобальный научный орган по вопросам ИИ. В него входят учёные из разных стран, и выступают они от себя лично, а не от правительств или организаций. Предварительный доклад группа представила 1 июля 2026 года, а нынешнее предупреждение прозвучало позже, в отдельной аналитической записке.