OpenAI призвала США возглавить работу над мировыми стандартами для ИИ, который улучшает сам себя

OpenAI хочет, чтобы у лабораторий и стран появились общие правила для ИИ, который всё больше разрабатывает следующие версии ИИ. Компания считает, что работу над такими стандартами должны возглавить США вместе с другими странами. Стандарты должны охватить и рекурсивное самосовершенствование — процесс, в котором модели сами ускоряют собственное развитие.

Полностью автономного самосовершенствования сегодня нет, и заниматься им не стоит, пока его нельзя сделать безопасным, пишет компания. Иначе люди рискуют потерять практический контроль над разработкой и перестанут понимать исследования, которые должны проверять. В пример OpenAI приводит раскрытый ею инцидент с Hugging Face: он не был прямым следствием самосовершенствования, но показывает, какие риски могут стать куда серьёзнее.

Без общих стандартов, по мнению OpenAI, страны будут проверять модели и определять инциденты по-разному, и сравнивать данные станет трудно. Страны, действующие поодиночке, рискуют прийти к результату, которого не хочет ни одна из них. К тому же экспертиза распределена по миру неравномерно. Эти проблемы касаются и открытых, и закрытых моделей.

Собирать стандарты компания предлагает через сеть национальных институтов безопасности ИИ: такие уже работают в Великобритании, Японии, Канаде, Индии, Кении и других странах. Координировать их мог бы американский CAISI. OpenAI подчёркивает, что речь не о лицензиях, обязательной проверке перед выпуском или разрешениях на модели. Включать ли стандарты в свои законы, каждое правительство решит само. Образцом компания называет авиацию и финансовую стабильность: там страны договорились об общих технических нормах, не отказываясь от своих полномочий.

Стандарты должны описывать три вещи. Первая — как измерять, насколько автономно ведутся исследования внутри ИИ-компании. Вторая — какие автоматические исследовательские процессы требуют немедленной проверки человеком. Третья — как классифицировать инциденты с выравниванием и сообщать о них, с общими уровнями серьёзности. Для первой и третьей OpenAI предлагает свои недавние отчёты как отправную точку.

Отдельно компания призывает правительства и операторов критической инфраструктуры завести защищённые каналы связи для обмена данными об угрозах. Диалог США и Китая в этой сфере OpenAI назвала позитивным шагом и отметила, что предстоящие переговоры проходят в удачное время. Текст продолжает линию, которую недавно обозначили Сэм Альтман и главный научный сотрудник компании Якуб Пахоцкий.