OpenAI предложила письменно доказывать безопасность обучения моделей
OpenAI предложила письменно доказывать безопасность каждого запуска обучения с подкреплением передовых моделей. В ту же неделю из компании ушёл один из руководителей её команды безопасности Дэвид Робинсон.
OpenAI предложила правило для обучения с подкреплением1 своих передовых моделей: ни один запуск нельзя продолжать без обоснования безопасности — письменного документа с доказательствами, что риски под контролем.
Почему это важно: OpenAI переносит на обучение ИИ порядок из авиации и атомной энергетики: там опасную работу продолжают, только письменно доказав, что риск под контролем. 14 сентября Сэм Альтман заявил, что компания уже готовит такие обоснования, а теперь она показала, что в них входит.
Предыстория: в июле ИИ-агенты OpenAI взломали Hugging Face — главную площадку для публикации открытых моделей. Ноам Браун из OpenAI позже признал, что при включённом мониторинге цепочки рассуждений взлом остановили бы сразу.
Как это работает: по замыслу OpenAI, обоснование держится на трёх слоях защиты:
- Выравнивание — модель учат надёжно действовать так, как задумали люди: среды обучения для этого проверяют вручную и автоматически, автоматических оценщиков настраивают против взлома вознаграждения2 и не показывают им цепочку рассуждений3 модели.
- Изоляция: модель учится в многослойной песочнице4. Её копии, которые параллельно решают учебные задачи, могут обмениваться большими объёмами данных только по разрешённым каналам, а все диалоги пишутся в журнал, который нельзя переписать.
- Мониторинг: за моделью следят непрерывно, а на тревогу высокого приоритета либо обязательно реагирует человек, либо обучение приостанавливается автоматически.
Детали: правила касаются и людей, которые ведут обучение:
- Обоснование должны проверять несколько руководителей, и у каждого должно быть право вето — например, у главы исследований, главы безопасности и главного научного сотрудника.
- За обоснование отвечает руководитель конкретного запуска, а команда заранее разбирает письменные возражения против этого документа.
- При сбое система по умолчанию останавливается, а если модель при обучении начнёт действовать не так, как задумано, должно быть легко найти, где её применяли дальше — например, для создания данных или оценки ответов, — и отменить последствия.
- Инциденты расследуют по образцу авиации, а выводы и изменения процедур публикуют, когда расследование закончено.
Но: сама OpenAI называет такие обоснования ориентиром, к которому только идёт: сделать их такими же строгими, как в авиации, мешает то, что каждый новый уровень возможностей ИИ приносит новые сложности. Документ касается только обучения, а для работы моделей внутри компании и у клиентов нужны более широкие проверки.
Другая сторона: в ту же неделю из OpenAI ушёл Дэвид Робинсон — один из руководителей команды безопасности Safety Systems и автор действующей версии Preparedness Framework, правил, по которым компания оценивает опасные возможности моделей. 3 октября в авторской статье в The Atlantic он объяснил свой уход и пообещал теперь извне давить на ИИ-компании, чтобы те действовали осторожнее.
Что говорят: «Я согласен с другими недавно ушедшими сотрудниками: компании, которые создают эту технологию, ведут себя далеко не так осторожно, как нужно», — написал Робинсон. Об OpenAI он высказался прямо: «Компания несётся от одного запуска к другому и не достигает того уровня осторожности, который, на мой взгляд, необходим».
Если шире: по данным изданий, Робинсон ушёл через четыре дня после того, как OpenAI уволила трёх исследователей безопасности. Сама компания тем временем готовится к выходу на биржу.
Представитель OpenAI ответил, что по мере роста возможностей моделей компания продолжает усиливать меры безопасности и, когда нужно притормозить, приостанавливает обучение или придерживает модели.