Политика ответственного масштабирования
Публичная политика компании Anthropic, связывающая уровни опасных возможностей моделей (ASL) с обязательными мерами защиты и требованиями безопасности при их разработке и выпуске. Если нужные меры не обеспечены, компания обязуется приостановить дальнейшее масштабирование; по её образцу схожие рамочные политики принимали другие лаборатории.
проверено по: anthropic.com ↗
См. также
- Frontier Safety FrameworkНабор правил и процедур Google DeepMind для выявления и снижения тяжёлых рисков от передовых моделей ИИ. В нём заданы критические уровни возможностей — пороги в таких областях, как кибератаки, биологические угрозы, ускорение исследований в машинном обучении, вредоносная манипуляция и рассогласование. Модели регулярно проходят оценки раннего предупреждения, а при приближении к порогу компания усиливает защиту весов и ограничивает развёртывание. Похожие документы есть у других лабораторий: Preparedness Framework у OpenAI и политика ответственного масштабирования у Anthropic.
- Preparedness FrameworkРамочная политика OpenAI по оценке и снижению рисков от продвинутых моделей в таких областях, как кибербезопасность, биология и химия, автономность. Модели оценивают по уровням опасных возможностей, и от уровня зависит, какие защитные меры обязательны и допустим ли выпуск модели вообще.
- Передовая модельМодель ИИ из числа самых мощных на данный момент, на переднем крае возможностей отрасли (frontier model). Понятие относительное: с выходом более сильных систем модель перестаёт быть передовой. Именно к таким моделям разработчики и регуляторы предъявляют самые строгие требования к оценке рисков и безопасности.
В новостях
METR насчитала, что Anthropic улучшает модели почти вдвое быстрее прежнего
Свод правил Anthropic: какие меры защиты нужны моделям по мере роста их возможностей и при каких порогах нужны дополнительные проверки и ограничения.
Anthropic отчиталась об общественной пользе и признала, где отстаёт
Свод правил, в котором разработчик ИИ заранее определяет, какие защитные меры обязан ввести, прежде чем обучать и выпускать модели с более опасными возможностями. Первой такую политику приняла Anthropic.
Альтман заявил, что OpenAI обосновывает безопасность до запусков обучения
Правила Anthropic, по которым компания связывает уровень опасных возможностей модели с защитными мерами, обязательными перед её разработкой и выпуском.