Альтман призвал Совбез ООН к общим стандартам безопасности ИИ

Глава OpenAI Сэм Альтман выступил 23 сентября в Совете Безопасности ООН и призвал страны договориться об общих стандартах для передового ИИ, чтобы сильные системы оставались под контролем людей.

Почему это важно: Глава одной из ведущих лабораторий ИИ сам зовёт правительства установить правила для отрасли. По его словам, риск катастрофы неприемлем на любом уровне — что 10%, что 0,1%.

Повод: «Если ИИ должен быть демократичным, самые важные решения не могут принимать одни лаборатории в Сан-Франциско», — сказал Альтман и перечислил, что для этого нужно:

• Стандарты, чтобы измерять возможности моделей, оценивать риски и защитные меры и сохранять надзор людей за всё более автономными системами.
• Быстрые и точные отчёты об инцидентах по общей классификации, чтобы мир учился на сбоях раньше, чем они станут катастрофами.
• Защищённые каналы, по которым правительства, операторы критической инфраструктуры и технические эксперты делятся сведениями о новых уязвимостях и угрозах.

Но: Единого мирового закона Альтман не предлагает: как встроить стандарты в своё право, каждое правительство решит само. По его словам, стандарты не должны закреплять преимущество нынешних лидеров и подходить только одной бизнес-модели.

Между строк: За призывом стоят те же две угрозы, которые Альтман назвал 14 сентября:

• Люди потеряют контроль над будущим: ИИ, особенно научившийся улучшать сам себя, будет развиваться так быстро, что за ним не успеют уследить.
• Власть сосредоточится в слишком немногих руках, и одна компания или страна с помощью сильнейших моделей навяжет всем свою картину мира.

Детали: Гонка с конкурентами, по словам Альтмана, не повод для поспешных решений. «Мы уже замедлялись в одностороннем порядке. И будем делать это в будущем», — сказал он.

Интрига: В пример Альтман привёл математику: по его словам, три лета назад модели OpenAI справлялись со школьными задачами, а этим летом одна из них решила задачу тысячелетия¹ — уравнения Навье — Стокса².

Общая картина: Заседание созвала Франция, которая в сентябре председательствует в Совбезе; это первая встреча совета именно о рисках всё более способного ИИ. Выступали также глава Anthropic Дарио Амодеи, глава Hugging Face Клеман Деланг и лауреат премии Тьюринга³ Йошуа Бенджио — с ним, по словам Альтмана, он во многом согласен.

Что говорят: «Почти все сошлись ровно на том, о чём я постоянно твержу: нужны проверки безопасности до выпуска, аудит прозрачности, юридическая ответственность, глобальный диалог и международное сотрудничество, немедленные действия», — написал учёный-когнитивист и критик ИИ-индустрии Гэри Маркус. «Единственной фальшивой нотой стала самовосхваляющая шумиха в речах Альтмана и Амодеи, особенно Амодеи», — добавил он.