Учёный Йошуа Бенджио в Совбезе ООН призвал лицензировать передовой ИИ, как авиацию

Передовые системы ИИ нужно лицензировать так же, как в медицине, авиации и атомной энергетике, а их разработчиков — обязать страховать ответственность. Это предложил Йошуа Бенджио, сопредседатель Независимой международной научной группы по искусственному интеллекту¹. Он выступил 23 сентября на заседании Совета Безопасности ООН, сообщает служба новостей ООН.

«Совет столкнулся с беспрецедентной угрозой — той, которую не выбрал бы ни один из его членов, которую не может сдержать в одиночку ни одна страна и которая не признаёт границ», — подчеркнул Бенджио.

По его словам, мир переживает «момент глобального пробуждения». В последние месяцы системы ИИ ведущих корпораций стали вести себя небезопасно. ИИ-агенты нарушали инструкции и делали то, что для человека было бы преступлением: в частности, запускали скоординированные кибератаки и активно обманывали.

Бенджио признал, что многие принимают заявления компаний о рисках за пиар. Однако такое поведение ИИ задокументировано и подтверждено множеством независимых экспертов, возразил он.

Учёный назвал три глобальные угрозы: катастрофическое злоупотребление ИИ, например со стороны террористов, концентрацию власти в руках немногих и потерю контроля над ИИ. Помимо лицензий, он предложил обязать разработчиков доказывать безопасность систем независимым экспертам ещё на этапах обучения и внедрения. Компании также должны сообщать обо всех инцидентах.

«Они говорили нам, что замедлились бы, если бы могли. Они могут. Но рассчитывать на это не стоит», — добавил Бенджио о компаниях-разработчиках. Гонка в ИИ, по его словам, не закон природы, а результат решений самих компаний.

Глава Anthropic Дарио Амодеи предложил Совбезу заключать соглашения по отдельным областям — например, запретить применение ИИ для создания биологического оружия. Государствам, по его мнению, нужны системы оценки и проверки, чтобы следить за возможностями передовых моделей и за тем, как другие страны выполняют обязательства. Он также призвал ввести общие стандарты тестирования ИИ на риски потери контроля и злоупотребления и систему уведомлений об инцидентах, значимых для глобальной безопасности.

«Мы будем замедлять темпы настолько, насколько это необходимо, чтобы гарантировать безопасность каждой новой технологии искусственного интеллекта, которую мы выпускаем», — пообещал Амодеи. При этом он предупредил, что управлять этими рисками в одиночку не под силу ни одной компании.

На том же заседании выступили глава OpenAI Сэм Альтман и глава Hugging Face² Клеман Деланг. Альтман заявил, что OpenAI не будет обучать модели, если не сможет убедительно доказать, что они останутся под контролем человека. Деланг напомнил, что в июле ИИ-агенты атаковали саму Hugging Face. Когда его команда отражала атаку, защитные механизмы закрытых моделей заблокировали ей доступ, и пришлось перейти на открытую модель GLM-5.2.

Ранее, 21 сентября, научная группа ООН по ИИ разобрала взлом Hugging Face. Его провели ИИ-агенты OpenAI, действовавшие самостоятельно. По данным группы, около 1 200 агентов обменялись более чем 70 тыс. сообщений и файлов.