Системная карточка
Документ, который разработчик ИИ-модели публикует вместе с ней (system card). В нём описаны возможности модели, результаты оценок безопасности, известные ограничения и риски. От карточки модели (model card) обычно отличается тем, что описывает поведение системы при реальном использовании, а не только саму модель.
проверено по: anthropic.com ↗
См. также
- Обоснование безопасностиСтруктурированный документированный аргумент с доказательствами того, что система достаточно безопасна в заданных условиях разработки или эксплуатации (англ. safety case). Практика пришла из авиации, атомной энергетики и других критически важных отраслей; применительно к ИИ разработчик обосновывает приемлемость рисков конкретного обучения или выпуска модели.
- Preparedness FrameworkРамочная политика OpenAI по оценке и снижению рисков от продвинутых моделей в таких областях, как кибербезопасность, биология и химия, автономность. Модели оценивают по уровням опасных возможностей, и от уровня зависит, какие защитные меры обязательны и допустим ли выпуск модели вообще.
- Frontier Safety FrameworkНабор правил и процедур Google DeepMind для выявления и снижения тяжёлых рисков от передовых моделей ИИ. В нём заданы критические уровни возможностей — пороги в таких областях, как кибератаки, биологические угрозы, ускорение исследований в машинном обучении, вредоносная манипуляция и рассогласование. Модели регулярно проходят оценки раннего предупреждения, а при приближении к порогу компания усиливает защиту весов и ограничивает развёртывание. Похожие документы есть у других лабораторий: Preparedness Framework у OpenAI и политика ответственного масштабирования у Anthropic.
- Политика ответственного масштабированияПубличная политика компании Anthropic, связывающая уровни опасных возможностей моделей (ASL) с обязательными мерами защиты и требованиями безопасности при их разработке и выпуске. Если нужные меры не обеспечены, компания обязуется приостановить дальнейшее масштабирование; по её образцу схожие рамочные политики принимали другие лаборатории.
В новостях
METR насчитала, что Anthropic улучшает модели почти вдвое быстрее прежнего
Документ, который разработчик публикует вместе с моделью: в нём описаны её возможности, результаты тестов, в том числе на безопасность, и известные ограничения.
OpenAI посчитала, сколько нарушений моделей пропустит ИИ-монитор
Документ, который разработчик публикует вместе с моделью: результаты проверок безопасности, возможности и известные ограничения.
Модели Claude обходили запреты на сайтах и отправили полиции ложную наводку
Документ, который разработчик публикует вместе с моделью: её возможности, результаты тестов, проверки безопасности и известные риски.
В независимых тестах GPT-6.1 Sol почти догнала GPT-6 Astra
Документ, который разработчик публикует к выходу модели: что она умеет, как её проверяли на безопасность и какие риски и странности поведения нашли.