Альтман заявил, что OpenAI обосновывает безопасность до запусков обучения
Письменное обоснование безопасности OpenAI теперь готовит ещё до обучения с подкреплением, которое должно заметно усилить модель. Альтман признал, что прогресс из-за этого замедлится, и назвал такую цену оправданной.
Если запуск обучения с подкреплением1 должен заметно усилить модель, OpenAI заранее составляет письменное обоснование его безопасности, написал в соцсети X глава компании Сэм Альтман. Меры безопасности перед выпуском моделей компания готовит давно, и эта работа не прекращается. Новое правило касается уже самого процесса разработки.
Обоснование безопасности — документ, в котором разработчик приводит доводы и данные о том, что система достаточно безопасна для конкретной задачи. Составляют его до начала работы, а не после.
«Когда мы говорим о „темпе“, мы не имеем в виду „остановку“», — пояснил Альтман. По его словам, прогресс останется быстрым, но будет медленнее, чем мог бы: обоснования безопасности и мониторинг обходятся дорого. «Никакое конкурентное давление на Америку не должно оправдывать безрассудство», — подчеркнул он.
Альтман напомнил, что несколько лет назад лаборатории выработали правила вроде политики ответственного масштабирования2 и Preparedness Framework3. По его словам, тогда они подходили, но касались в основном выпуска готовых моделей, а не их разработки. Для разработки нужны новые инструменты. Он рассчитывает, что другие компании переймут подход OpenAI или предложат свой. Общие стандарты мониторинга и защиты от рассогласования4, по его мнению, дадут лучший результат.
OpenAI поддержит федеральные правила, которые установят единые требования безопасности для передовых моделей, добавил Альтман. Компания приветствует и такие идеи, как независимые аудиторы. При этом ждать закона или исключения из антимонопольных правил, по словам Альтмана, не нужно. От правительства OpenAI прежде всего ждёт помощи в международной координации.
Ранее, 18 августа, OpenAI объявила, что темп разработки моделей будут определять меры безопасности. 6 сентября главный научный сотрудник компании Якуб Пахоцкий призвал договариваться о безопасности ИИ на международном уровне.