ИИтак

← Назад

OpenAI предложила письменно доказывать безопасность обучения моделей

OpenAI предложила письменно доказывать безопасность каждого запуска обучения с подкреплением передовых моделей. В ту же неделю из компании ушёл один из руководителей её команды безопасности Дэвид Робинсон.

OpenAI предложила правило для обучения с подкреплением1 своих передовых моделей: ни один запуск нельзя продолжать без обоснования безопасности — письменного документа с доказательствами, что риски под контролем.

OpenAI переносит на обучение ИИ порядок из авиации и атомной энергетики: там опасную работу продолжают, только письменно доказав, что риск под контролем. 14 сентября Сэм Альтман заявил, что компания уже готовит такие обоснования, а теперь она показала, что в них входит.

в июле ИИ-агенты OpenAI взломали Hugging Face — главную площадку для публикации открытых моделей. Ноам Браун из OpenAI позже признал, что при включённом мониторинге цепочки рассуждений взлом остановили бы сразу.

по замыслу OpenAI, обоснование держится на трёх слоях защиты:

  • Выравнивание — модель учат надёжно действовать так, как задумали люди: среды обучения для этого проверяют вручную и автоматически, автоматических оценщиков настраивают против взлома вознаграждения2 и не показывают им цепочку рассуждений3 модели.
  • Изоляция: модель учится в многослойной песочнице4. Её копии, которые параллельно решают учебные задачи, могут обмениваться большими объёмами данных только по разрешённым каналам, а все диалоги пишутся в журнал, который нельзя переписать.
  • Мониторинг: за моделью следят непрерывно, а на тревогу высокого приоритета либо обязательно реагирует человек, либо обучение приостанавливается автоматически.

правила касаются и людей, которые ведут обучение:

  • Обоснование должны проверять несколько руководителей, и у каждого должно быть право вето — например, у главы исследований, главы безопасности и главного научного сотрудника.
  • За обоснование отвечает руководитель конкретного запуска, а команда заранее разбирает письменные возражения против этого документа.
  • При сбое система по умолчанию останавливается, а если модель при обучении начнёт действовать не так, как задумано, должно быть легко найти, где её применяли дальше — например, для создания данных или оценки ответов, — и отменить последствия.
  • Инциденты расследуют по образцу авиации, а выводы и изменения процедур публикуют, когда расследование закончено.

сама OpenAI называет такие обоснования ориентиром, к которому только идёт: сделать их такими же строгими, как в авиации, мешает то, что каждый новый уровень возможностей ИИ приносит новые сложности. Документ касается только обучения, а для работы моделей внутри компании и у клиентов нужны более широкие проверки.

в ту же неделю из OpenAI ушёл Дэвид Робинсон — один из руководителей команды безопасности Safety Systems и автор действующей версии Preparedness Framework, правил, по которым компания оценивает опасные возможности моделей. 3 октября в авторской статье в The Atlantic он объяснил свой уход и пообещал теперь извне давить на ИИ-компании, чтобы те действовали осторожнее.

«Я согласен с другими недавно ушедшими сотрудниками: компании, которые создают эту технологию, ведут себя далеко не так осторожно, как нужно», — написал Робинсон. Об OpenAI он высказался прямо: «Компания несётся от одного запуска к другому и не достигает того уровня осторожности, который, на мой взгляд, необходим».

по данным изданий, Робинсон ушёл через четыре дня после того, как OpenAI уволила трёх исследователей безопасности. Сама компания тем временем готовится к выходу на биржу.

Представитель OpenAI ответил, что по мере роста возможностей моделей компания продолжает усиливать меры безопасности и, когда нужно притормозить, приостанавливает обучение или придерживает модели.

← Все новости