Комитет по безопасности и защите
Safety and Security Committee — комитет при совете директоров OpenAI, отвечающий за надзор за мерами безопасности компании. Он оценивает процессы защиты и готовность моделей, даёт рекомендации совету и имеет полномочия отложить выпуск модели до устранения рисков.
проверено по: openai.com ↗
См. также
- Preparedness FrameworkРамочная политика OpenAI по оценке и снижению рисков от продвинутых моделей в таких областях, как кибербезопасность, биология и химия, автономность. Модели оценивают по уровням опасных возможностей, и от уровня зависит, какие защитные меры обязательны и допустим ли выпуск модели вообще.
- Политика ответственного масштабированияПубличная политика компании Anthropic, связывающая уровни опасных возможностей моделей (ASL) с обязательными мерами защиты и требованиями безопасности при их разработке и выпуске. Если нужные меры не обеспечены, компания обязуется приостановить дальнейшее масштабирование; по её образцу схожие рамочные политики принимали другие лаборатории.
- OpenAI FoundationНекоммерческая организация, которая после реструктуризации OpenAI контролирует её коммерческую часть — OpenAI Group — и назначает её совет директоров. Фонд отвечает за следование уставной миссии компании и ведёт собственные благотворительные и научные программы.
- Frontier Safety FrameworkНабор правил и процедур Google DeepMind для выявления и снижения тяжёлых рисков от передовых моделей ИИ. В нём заданы критические уровни возможностей — пороги в таких областях, как кибератаки, биологические угрозы, ускорение исследований в машинном обучении, вредоносная манипуляция и рассогласование. Модели регулярно проходят оценки раннего предупреждения, а при приближении к порогу компания усиливает защиту весов и ограничивает развёртывание. Похожие документы есть у других лабораторий: Preparedness Framework у OpenAI и политика ответственного масштабирования у Anthropic.
В новостях
Исследователь безопасности ИИ Пол Кристиано вошёл в совет OpenAI Foundation
Комитет при совете директоров OpenAI (Safety and Security Committee). Он проверяет меры безопасности перед выпуском крупных моделей и может задержать выпуск.