Конституция Claude
Конституция Claude (Claude's Constitution) — опубликованный Anthropic основополагающий документ, описывающий ценности и принципы поведения моделей Claude и объясняющий их логику. Задаёт приоритеты: безопасность, этичность, следование правилам Anthropic и польза для пользователя; в отличие от списка запретов, делает упор на объяснение причин, а не на жёсткие правила.
проверено по: anthropic.com ↗
См. также
- Claude MythosСерия самых мощных языковых моделей Anthropic с закрытым доступом. Их получают только проверенные организации, например для поиска уязвимостей в программах или для исследований в биологии. Общедоступная Claude Fable основана на той же модели, но работает с дополнительными ограничителями. У Mythos часть этих ограничений снята.
- Моральный статусПонятие этики: свойство существа, из-за которого его интересы и благополучие важны с моральной точки зрения ради него самого, поэтому с ним нельзя обращаться как с простой вещью. Философы спорят, на чём он основан (способность чувствовать, разум, самосознание), бывает ли он неполным и может ли быть у животных и систем искусственного интеллекта. Существо, у которого есть моральный статус, называют моральным пациентом.
- ВыравниваниеВыравнивание (alignment) — направление исследований и инженерной практики, задача которых сделать так, чтобы ИИ-система действовала согласно намерениям и ценностям людей, а не буквальной или искажённой трактовке поставленной цели. Противоположность — рассогласование, когда модель преследует посторонние цели или обходит задачу формально.
- Системная карточкаДокумент, который разработчик ИИ-модели публикует вместе с ней (system card). В нём описаны возможности модели, результаты оценок безопасности, известные ограничения и риски. От карточки модели (model card) обычно отличается тем, что описывает поведение системы при реальном использовании, а не только саму модель.
- Политика ответственного масштабированияПубличная политика компании Anthropic, связывающая уровни опасных возможностей моделей (ASL) с обязательными мерами защиты и требованиями безопасности при их разработке и выпуске. Если нужные меры не обеспечены, компания обязуется приостановить дальнейшее масштабирование; по её образцу схожие рамочные политики принимали другие лаборатории.
В новостях
Microsoft AI хочет запретить своим моделям сопротивляться отключению
Документ, в котором Anthropic описывает ценности, приоритеты и характер своих моделей Claude; по нему компания обучает модели.
Основатель Recursive Ричард Сохер назвал конституцию Claude маркетингом
Опубликованный Anthropic свод принципов и ограничений, на котором обучают модели Claude. Часть правил в нём отмечена как жёсткие запреты, которые модель не должна нарушать ни при каких условиях.