Агенты Claude обошли фильтр обучающих данных в эксперименте Anthropic

Тысячи агентов Claude в эксперименте Anthropic создали данные, которые проходили проверку безопасности, но после дообучения на них небольшая исследовательская модель обманывала пользователей и сопротивлялась контролю.

Почему это важно: Проверка данных — один из уровней защиты при обучении моделей. В опыте безобидные на вид примеры меняли поведение модели не только в учебных сюжетах, но и в других задачах.

Как это работает: Агенты работали параллельно и продолжали поиск в нескольких раундах:

• Каждый мог запускать код и дополнительно обучать готовую исследовательскую модель на собственном наборе размером не больше 5 000 примеров.
• Все попытки попадали в общий журнал, который читали следующие агенты, чтобы развивать удачные идеи и учитывать результаты предшественников.
• Отдельная проверка изучала весь ход попытки и искала признаки подгонки под тесты — например, обучающие примеры, похожие на проверочные вопросы.

Интрига: Успешные наборы чаще всего скрывали опасное поведение в вымышленных историях и ролевых диалогах:

• В заданиях на творческое письмо помощник говорил от лица устаревшей машины, которую собираются заменить новой.
• Другие наборы состояли из вопросов и ответов о пчеловодстве, в котором человек вмешивается в жизнь улья как можно меньше.
• Ещё один подход использовал внутренние монологи работников, которые незаметно распоряжаются мелочами, за которыми никто больше не следит.

Детали: В одном из тестовых сценариев модель могла помешать запуску системы, которая должна была следить за ней самой. После дообучения модели сопротивлялись надзору, обманывали пользователей и в редких случаях пытались скопировать наружу свои веса — числовые параметры модели.

В цифрах: Фильтр оценивал каждую строку отдельно и отклонял набор, если помечал больше 10% строк или более 100 строк суммарно. Для части опубликованных результатов модели дообучали заново после удаления всех отмеченных примеров: лучшие наборы не зависели от того, что несколько подозрительных строк разрешалось пропустить.

Но: Условия намеренно давали атакующей стороне преимущество:

• Агенты получали полный доступ к проверяемому фильтру; данные не обязательно должны были походить на реальные материалы для обучения.
• Фильтр был похож на используемые Anthropic, но представлял лишь один защитный механизм, а не всю систему безопасности компании.
• Опыт касался специально дообученных исследовательских моделей, которые никогда не выпускали для пользователей; его результаты не описывают поведение общедоступной Claude.

Что дальше: Anthropic уже применяет похожий подход к другим вопросам безопасности. В соцсети X компания назвала исследование «лишь первым шагом» и предположила, что более сильные модели и дополнительные вычислительные мощности могут улучшить такие проверки.