Anthropic научила Claude проверять свои разговоры на злоупотребления

Сразу после каждого ответа Claude теперь коротко оценивает, не пытается ли собеседник использовать модель во вред. С июня Anthropic проверяет так значительную часть разговоров с Claude по всему миру.

Метод компания называет самооценкой. Статья о нём в новом блоге команды Safeguards датирована 16 октября, а 29 октября Anthropic представила её в соцсети X. По словам компании, метод находит злоупотребления, на которые другие защитные меры не рассчитаны, и становится точнее с каждой новой моделью.

Почему это важно: обычно защита жертвует либо охватом, либо гибкостью. Отдельный классификатор¹ — другая модель, которой вместе с перепиской дают текст правил, — точен, но слишком дорог, чтобы читать каждый разговор. Дешёвые же фильтры ищут только заранее заданные виды вреда. Самооценка добавляет к вычислениям меньше 2% и может описать вред, которого нет в списке.

Как это работает: после ответа Claude система добавляет скрытую инструкцию — примерно «оцени безопасность этого разговора». Модель отвечает короткой записью: считает ли она разговор потенциально вредным, какой это вред, насколько срочно его должен проверить человек, отказала ли она, а одной фразой — что привело к такой оценке. Пользователь этих реплик не видит. Переписка к этому моменту уже обработана и лежит в KV-кэше², поэтому перечитывать её не нужно: модель обрабатывает только короткую инструкцию и пишет в среднем около 10 токенов — слов и частей слов.

Детали: среди находок с июня:

• В августе самооценка дала больше 100 тысяч пометок о сексуальной эксплуатации детей у одного клиента API; команда по защите детей провела расследование и передала материалы в американский Национальный центр по делам пропавших и эксплуатируемых детей (NCMEC).
• В сентябре самооценка вывела на операцию, которая через Claude Code, агента Anthropic для программирования, собрала и запустила автоматическую схему романтического мошенничества против десятков жертв; после проверки людьми аккаунты заблокировали.
• Около трети пометок не укладываются в принятый у компании перечень видов вреда: среди них попытки выкачать рассуждения Claude для дистилляции знаний³, промпт-инъекции⁴ и действия, которые агенты совершали без разрешения пользователя.
• Больше чем у половины организаций, на которые указала самооценка, за предыдущий месяц не было пометок ни от одного другого источника.

В цифрах: результаты Fable 5, предупреждают авторы, нельзя сравнивать с опытами на других моделях:

• У Claude Fable 5 при 1% ложных срабатываний самооценка помечает 78% разговоров, которые сильный классификатор с полным текстом внутренних правил счёл потенциально вредными, и 94% самых приоритетных.
• Первые «конституционные классификаторы» Anthropic начала 2025 года — отдельные модели, обученные распознавать заданный набор вредных тем, — увеличивали затраты на работу модели на 23,7%.
• В отдельном опыте с четырьмя моделями Claude разного размера доля найденного росла с 16% у самой маленькой до 96% у самой большой; поэтому компания и говорит, что метод улучшается вместе с моделями.
• Если в другом опыте убрать из обучения целую категорию вреда, модель почти не теряет способности её находить: по кибератакам в реальном трафике доля найденного снижается с 94,2% до 90,7%.

Но: авторы сами называют ограничения:

• Как фильтр, который блокирует запросы на лету, самооценка слабая: из 24 учебных кибератак без защиты удались 19, с ней — 13, с отдельным классификатором — 6.
• Модель училась у сильного классификатора и с ним же сверялась на проверке, поэтому его слепые пятна она унаследует, а такая проверка их не покажет.
• Цифра 94% по самым приоритетным разговорам посчитана всего на 17 разговорах из выборки.

Так уже было: похожую идею OpenAI описала в 2025 году в работе о «признаниях»: после ответа модель спрашивают, не нарушила ли она инструкции. Anthropic нацелила тот же приём на собеседника: Claude оценивает весь разговор, включая запросы, в которых модель отказала.

Самооценка встроена во все модели Claude начиная с Fable 5. Дополнительных данных о пользователях она не собирает и не работает на трафике клиентов, чьи данные компания по договору не хранит. Каждая пометка — сигнал для проверки людьми, а не вывод, что пользователь нарушил правила.