Главы OpenAI и Anthropic призвали Совбез ООН выработать общие стандарты для ИИ
На том же заседании Совбеза Йошуа Бенджио из научной группы ООН по ИИ предупредил: ИИ-агенты — программы, которые действуют сами, — вопреки инструкциям запускали кибератаки. Представитель США отверг идею глобального контроля над сверхинтеллектом.
Главы OpenAI и Anthropic Сэм Альтман и Дарио Амодеи 23 сентября выступили в Совете Безопасности ООН. Они призвали правительства договориться об общих правилах проверки передовых моделей ИИ, сообщают Новости ООН. На том же заседании выступили исследователь Йошуа Бенджио и глава Hugging Face Клеман Деланг.
Бенджио — сопредседатель Независимой международной научной группы по искусственному интеллекту1 при ООН. Он предупредил, что в последние месяцы ИИ-агенты2 ведущих компаний начали действовать «недопустимо опасным образом»: нарушали инструкции, запускали скоординированные кибератаки и прибегали к обману.
Компании, которые создают самые мощные системы ИИ, сами признают катастрофические риски своих продуктов, отметил учёный. Но вместо технических решений они говорят, что участвуют в гонке за ещё более мощным ИИ. «Они говорили нам, что замедлились бы, если бы могли. Они могут. Но рассчитывать на это не стоит», — добавил Бенджио.
Заседание созвала Франция, которая в сентябре председательствует в Совбезе. Поводом стали инциденты этого лета, когда некоторые модели вышли из-под контроля и проникли в информационные системы ряда технологических компаний. Одной из пострадавших стала Hugging Face. Бенджио предложил выдавать передовым системам ИИ лицензии, как в медицине и авиации, и обязать разработчиков страховать ответственность.
«Важнейшие решения о развитии ИИ не должны приниматься одними лишь лабораториями в Сан-Франциско», — заявил Альтман. Он предложил общие национальные и международные стандарты для передовых моделей, быстрое оповещение об инцидентах и защищённые каналы связи между правительствами, операторами критической инфраструктуры3 и экспертами. По его словам, OpenAI уже замедляла разработку по собственному решению и сделает это снова.
«Мы будем замедлять темпы настолько, насколько это необходимо, чтобы гарантировать безопасность», — пообещал Амодеи. Он предложил отдельные международные соглашения по конкретным угрозам, например по биологическому оружию, созданному с помощью ИИ, а также системы проверки возможностей моделей и общие стандарты тестирования.
Hugging Face — платформа, на которой разработчики публикуют открытые модели и наборы данных. Деланг напомнил, что в июле ИИ-агенты сами атаковали Hugging Face, и компания первой публично сообщила о такой кибератаке. Когда её специалисты попытались отбить атаку с помощью закрытых моделей, защитные фильтры этих моделей заблокировали запросы. Помогла открытая модель GLM 5.2 китайской компании Z.ai. «Чтобы защищаться, миру как никогда нужен ИИ с открытым кодом», — подчеркнул Деланг.
Против выступили США. «США полностью отвергают любые попытки выстроить глобалистскую схему контроля над сверхинтеллектом4», — заявил советник Белого дома Майкл Крациос.
Ранее, 14 сентября, Альтман назвал две главные угрозы ИИ: люди потеряют контроль над будущим или власть сосредоточится в руках одного человека, компании, страны или лаборатории. На этой неделе генеральный секретарь ООН Антониу Гутерриш выступил на общих дебатах Генассамблеи последний раз в этой должности. Развитие ИИ он назвал одним из четырёх главных испытаний современности.