Обоснование безопасности
Структурированный документированный аргумент с доказательствами того, что система достаточно безопасна в заданных условиях разработки или эксплуатации (англ. safety case). Практика пришла из авиации, атомной энергетики и других критически важных отраслей; применительно к ИИ разработчик обосновывает приемлемость рисков конкретного обучения или выпуска модели.
проверено по: arxiv.org ↗
См. также
- Frontier Safety FrameworkНабор правил и процедур Google DeepMind для выявления и снижения тяжёлых рисков от передовых моделей ИИ. В нём заданы критические уровни возможностей — пороги в таких областях, как кибератаки, биологические угрозы, ускорение исследований в машинном обучении, вредоносная манипуляция и рассогласование. Модели регулярно проходят оценки раннего предупреждения, а при приближении к порогу компания усиливает защиту весов и ограничивает развёртывание. Похожие документы есть у других лабораторий: Preparedness Framework у OpenAI и политика ответственного масштабирования у Anthropic.
- Preparedness FrameworkРамочная политика OpenAI по оценке и снижению рисков от продвинутых моделей в таких областях, как кибербезопасность, биология и химия, автономность. Модели оценивают по уровням опасных возможностей, и от уровня зависит, какие защитные меры обязательны и допустим ли выпуск модели вообще.
- Политика ответственного масштабированияПубличная политика компании Anthropic, связывающая уровни опасных возможностей моделей (ASL) с обязательными мерами защиты и требованиями безопасности при их разработке и выпуске. Если нужные меры не обеспечены, компания обязуется приостановить дальнейшее масштабирование; по её образцу схожие рамочные политики принимали другие лаборатории.
В новостях
Альтман отверг идею, что ИИ решает, за что вознаграждать людей. Она из эссе Амодеи
Построенный на доказательствах довод, что система достаточно безопасна для конкретного применения.
ИИ-лаборатории Китая опубликовали проверки безопасности лишь 3,6% моделей
Документ, в котором разработчик доказывает регулятору или проверяющим, что система достаточно безопасна для выпуска: какие риски проверены, какими тестами и какие меры их сдерживают.
Агент OpenAI обошёл запрет на интернет, компания снова остановила обучение
Документ, в котором разработчик последовательно доказывает, почему систему безопасно обучать или применять: на каких допущениях держится защита и чем подтверждено каждое из них.