Preparedness Framework
Рамочная политика OpenAI по оценке и снижению рисков от продвинутых моделей в таких областях, как кибербезопасность, биология и химия, автономность. Модели оценивают по уровням опасных возможностей, и от уровня зависит, какие защитные меры обязательны и допустим ли выпуск модели вообще.
проверено по: openai.com ↗
См. также
- Frontier Safety FrameworkНабор правил и процедур Google DeepMind для выявления и снижения тяжёлых рисков от передовых моделей ИИ. В нём заданы критические уровни возможностей — пороги в таких областях, как кибератаки, биологические угрозы, ускорение исследований в машинном обучении, вредоносная манипуляция и рассогласование. Модели регулярно проходят оценки раннего предупреждения, а при приближении к порогу компания усиливает защиту весов и ограничивает развёртывание. Похожие документы есть у других лабораторий: Preparedness Framework у OpenAI и политика ответственного масштабирования у Anthropic.
- Политика ответственного масштабированияПубличная политика компании Anthropic, связывающая уровни опасных возможностей моделей (ASL) с обязательными мерами защиты и требованиями безопасности при их разработке и выпуске. Если нужные меры не обеспечены, компания обязуется приостановить дальнейшее масштабирование; по её образцу схожие рамочные политики принимали другие лаборатории.
- Frontier Red TeamИсследовательская команда Anthropic, которая проводит стресс-тестирование передовых моделей компании: выясняет, на что они способны в опасных областях — кибербезопасности, национальной безопасности (включая оружие) и автономных системах, в том числе робототехнике, — и заранее оценивает, что станет возможным дальше. Это конкретное подразделение компании, а не общий метод ред-тиминга. Свои выводы команда публикует открыто.
- Системная карточкаДокумент, который разработчик ИИ-модели публикует вместе с ней (system card). В нём описаны возможности модели, результаты оценок безопасности, известные ограничения и риски. От карточки модели (model card) обычно отличается тем, что описывает поведение системы при реальном использовании, а не только саму модель.
- P-Zero ResearchИсследовательская организация в области безопасности ИИ, основанная выходцами из команд OpenAI по готовности (Preparedness) и исследованиям политики. Измеряет, насколько ИИ-модели близки к автоматизации исследований и разработки самого ИИ, прогнозирует, когда это произойдёт, и изучает, как сдерживать темп такого прогресса, не теряя его пользы.
В новостях
Альтман заявил, что OpenAI обосновывает безопасность до запусков обучения
Правила OpenAI для оценки опасных возможностей моделей, например в кибербезопасности и биологии. Они задают уровни риска и защитные меры, без которых модель не выпускают.