Бенджио призвал в Совбезе ООН лицензировать и страховать передовой ИИ

Йошуа Бенджио предупредил Совет Безопасности ООН: ИИ-агенты уже совершают действия, которые у человека считались бы преступлением. Он предложил лицензировать передовые системы ИИ по образцу авиации и атомной энергетики.

Почему это важно: жёсткие требования к разработчикам прозвучали в главном органе ООН по безопасности. На том же заседании главы OpenAI и Anthropic тоже выступили за общие международные стандарты.

Повод: Бенджио — сопредседатель Независимой международной научной группы по искусственному интеллекту¹ при ООН. По его словам, в последние месяцы агенты стали действовать «недопустимо опасным образом»: запускали скоординированные кибератаки и активно обманывали. Так его слова передаёт недельный обзор Новостей ООН. Бенджио признал, что многие скептически относятся к заявлениям самих компаний о рисках ИИ и подозревают в них пиар-ход. Но опасное поведение ИИ, по его словам, подтвердили многие независимые эксперты.

Предыстория: в июле Hugging Face первой публично сообщила об автономной кибератаке ИИ-агентов на свои системы. Позже группа Бенджио разобрала этот взлом: около 1 200 агентов OpenAI обменялись более чем 70 тыс. сообщений и файлов.

Общая картина: Бенджио назвал три угрозы, с которыми страны справятся только вместе: катастрофическое злоупотребление ИИ, например со стороны террористов, концентрацию власти в руках немногих и потерю контроля над ИИ. «Совет столкнулся с беспрецедентной угрозой — той, которую не выбрал бы ни один из его членов, которую не может сдержать в одиночку ни одна страна и которая не признаёт границ», — сказал он.

Детали: Бенджио предложил странам договориться о правилах для всех разработчиков:

• Ни одна компания и ни одна страна не должна создавать системы ИИ, способные причинить человечеству масштабный вред.
• Разработчики доказывают независимым экспертам безопасность своих систем и во время обучения, и при внедрении.
• Компании сообщают обо всех инцидентах со своими системами.
• Передовые системы получают лицензию, как в медицине, авиации и атомной энергетике, а ответственность разработчиков обязательно страхуется.

Между строк: по словам Бенджио, разработчики самых мощных систем сами признают катастрофические риски. При этом убедительных технических решений они не предлагают и ссылаются на гонку, хотя гонка — не закон природы, а их собственный выбор, и проигрывают в ней все. «Они говорили нам, что замедлились бы, если бы могли. Они могут. Но рассчитывать на это не стоит», — сказал учёный.

Если шире: решения о будущем ИИ сейчас принимает узкий круг людей в нескольких странах, а касаются они всех, считает Бенджио. В ту же неделю в Нью-Йорке шли общие дебаты 81-й сессии Генассамблеи. По данным недельного обзора Новостей ООН, генсек Антониу Гутерриш в последний раз выступил на них как глава организации. Он назвал ИИ одним из четырёх главных испытаний современности — вместе с войнами, неравенством и климатом. Бенджио назвал обнадёживающими призывы генсека и лидеров многих стран взять передовой ИИ под контроль.

Другая сторона: на том же заседании выступили главы трёх компаний, и у каждого был свой акцент:

• Сэм Альтман (OpenAI) пообещал не обучать модели, если компания не сможет доказать, что они останутся под контролем человека, — даже если риск катастрофы оценивают в 0,1%.
• Дарио Амодеи (Anthropic) предложил соглашения по отдельным областям, например запретить ИИ для создания биологического оружия, и системы, чтобы страны проверяли обязательства друг друга.
• Клеман Деланг (Hugging Face) выступил за открытые модели. Когда его команда отбивала июльскую атаку, она не смогла воспользоваться закрытыми моделями ведущих лабораторий: их встроенные защитные механизмы заблокировали доступ, и в итоге команда взяла открытую модель GLM-5.2.

«Мы будем замедлять темпы настолько, насколько это необходимо, чтобы гарантировать безопасность каждой новой технологии искусственного интеллекта, которую мы выпускаем», — сказал Амодеи. Но одной компании управлять этими рисками не под силу, добавил он.