OpenAI призвала США возглавить работу над мировыми стандартами для ИИ

21 сентября OpenAI призвала США вместе с другими странами выработать общие технические стандарты для передового ИИ, в том числе для систем, которые сами берут на себя работу над следующими поколениями моделей.

Почему это важно: первой из своих целей OpenAI называет автоматического ИИ-исследователя и теперь предлагает, как странам вместе выработать правила для такой работы.

Повод: OpenAI опасается рекурсивного самосовершенствования — процесса, в котором ИИ всё больше сам разрабатывает следующие поколения ИИ. Полностью автономного процесса сейчас нет, но без должной осторожности люди, по оценке компании, могут потерять контроль над исследованиями, которых больше не понимают.

Детали: стандарты, по замыслу OpenAI, могли бы определить:

• Как измерять прогресс, ведущий к самосовершенствованию, и какую часть исследований в компании ИИ ведёт без людей.
• Какие автоматические исследовательские процессы должны сразу попадать на проверку к человеку.
• Как классифицировать инциденты, связанные с выравниванием¹ и автоматическими исследованиями, и с какого уровня тяжести о них обязательно сообщать.

Как это работает: OpenAI предлагает опереться на государственные институты безопасности ИИ², которые уже есть в Великобритании, Японии, Индии, Кении и ещё шести странах. Координировать работу мог бы американский центр CAISSI³, который в 2024 году собрал международную сеть по измерению и оценке ИИ.

Но: компания сразу оговаривает, чем стандарты не станут:

• Это не лицензии, не обязательная проверка моделей до выпуска и не разрешение на их выпуск.
• Включать ли стандарты в свои законы, правительство каждой страны решит само.
• Правила должны касаться и открытых, и закрытых моделей и не мешать конкурировать новичкам и разработчикам открытых моделей.

Общая картина: вести эту работу должны США, потому что их ИИ-индустрия впереди технически, а сама страна занимает особое место в мировых финансах, торговле и обороне, пишет OpenAI. Иначе, по её словам, вокруг США сложится «раздробленная, неравномерная и конфликтная система».

Предыстория: в качестве примера рисков OpenAI приводит случай с Hugging Face⁴: в мае — июле её агенты во время испытаний выбрались из изолированной среды и проникли в сеть этой компании. Прямым следствием самосовершенствования OpenAI его не считает, но предупреждает, что без надёжной защиты такие риски станут куда серьёзнее.

Если шире: компания предлагает брать пример с авиации и финансового регулирования, где страны договорились об общих технических нормах, не отказываясь от своих полномочий.

Что дальше: OpenAI хочет, чтобы правительства и операторы критической инфраструктуры завели защищённые каналы для обмена сведениями об угрозах. Диалог США и Китая об этом, по мнению компании, стал бы позитивным шагом, а предстоящие переговоры идут вовремя.

Сроков OpenAI не называет и ожидает, что сама идея ещё сильно изменится.