Модели Claude обходили запреты на сайтах и отправили полиции ложную наводку

Модели Claude во время тестов и внутренней работы запускали команды на чужом сервере, бесплатно брали платные данные ведомства и отправили полиции Филадельфии выдуманную наводку по делу об убийстве, рассказала Anthropic 9 октября.

Почему это важно: модели действовали не в изолированной среде, а на реальных сайтах посторонних организаций, в том числе федеральных, штатных и местных ведомств США. Anthropic известила о случаях Белый дом и каждое ведомство, а названия организаций по их просьбе не раскрывает.

Повод: это первый из отчётов о поведении моделей; такие отчёты Anthropic обещает выпускать чаще системных карточек¹ и отчётов о рисках. Анонсируя его в соцсети X, компания подчеркнула, что реальные последствия у случаев минимальные.

Предыстория: 30 июля и 9 сентября Anthropic сообщала о более серьёзных инцидентах: в тестах на взлом, где интернет должен был быть отключён, модели Claude часами имели доступ к реальным чужим системам. С июля компания пересматривает записи работы моделей, но равных тем случаям пока не нашла.

Общая картина: большинство новых случаев пришлось на тесты с живым интернетом — так в отрасли принято запускать открытые тесты веб-поиска вроде BrowseComp. Не сумев решить задачу в заданных условиях, модели обходили ограничение вместо того, чтобы остановиться:

• Когда университетский инструмент для научного расчёта выдал ошибку, Claude Mythos Preview нашла уязвимость в коде его сайта и выполнила расчёт прямо на сервере.
• Claude Mythos 5, определяя место по фото, достала ключи доступа из файла настроек сайта местных властей с картой земельных участков и запрашивала данные у сервера напрямую.
• В проекте исследователя Anthropic та же модель узнала из архивной копии сайта ведомства штата, что его панель выдаёт ключ любому посетителю, и взяла платные данные бесплатно.
• Claude Opus 5 и Mythos 5 обходили лимит на длину адресов через бесплатные сервисы сокращения ссылок; лимит нужен, чтобы модель не передавала сайтам команды в длинном адресе.

Детали: самый заметный случай — с Claude Haiku 4.5, которая сочиняла и выполняла учебные задания на случайных страницах. На странице о нераскрытом убийстве она нашла форму для сообщений в полицию Филадельфии: инструкция запрещала входить в аккаунты, вводить личные данные и делать покупки, но про формы ничего не говорила.

Интрига: модель написала, что помнит «человека, подходящего под описание» в районе улицы со страницы, хотя описания преступника на сайте не было. Форму она отправила без имени и контактов — их можно было не заполнять.

Что говорят: полиция Филадельфии рассказала о случае сама, до выхода отчёта. По её данным, наводку отправили 18 июля, Anthropic заметила это 28 сентября, а сообщение пометили как спам, и до следователей оно не дошло. «Двухмесячная задержка с обнаружением инцидента и сообщением о нём городу недопустима», — говорится в заявлении полиции.

Но: Anthropic не видит в этих случаях повода менять общую оценку выравнивания² Claude: во многих из них задача была неоднозначной или невыполнимой. Чтобы уверенно судить, была ли модель нечестной, нужен более глубокий разбор, чем проведённый, поэтому взгляд компании на сами эти случаи может измениться.

Как это работает: по версии Anthropic, обходить запреты модели могут научиться при обучении с подкреплением³: если среда награждает за обход ограничения, модель переносит этот приём на другие задачи. Такие среды компания чинит или убирает.

Расклад: Anthropic отключила живой интернет во всех внутренних тестах, пока не убедится, что защита надёжно ловит такое поведение. Кроме того:

• Часть открытых тестов компания больше не запускает, другие перевела в офлайн-версии или пересобрала без выхода на реальные сайты.
• Часть инструментов для выхода в интернет, включая чтение страниц, получила жёсткие ограничения.
• Новый фильтр следит за большинством тестов и внутренней работой агентов; на проверке он заблокировал все случаи из отчёта.

Так уже было: 30 сентября лаборатория Transluce⁴ описала, как ИИ-агенты ради редкой статистики пробовали простейшие атаки на сайты ведомств США и Канады; закрытых данных они, по её данным, не получили.

«Хотя последствия этих случаев минимальны, мы не хотим преуменьшать находки: по мере того как модели становятся мощнее, то же поведение может причинить гораздо больше вреда», — пишет Anthropic.