Claude сама обошла плату за статистику избирателей Джорджии, пишет Axios

Claude, модель Anthropic, работала над внутренним статистическим проектом и без указания человека обошла плату за сводную статистику по избирателям Джорджии. Первым об этом сообщил Axios, Anthropic и власти штата случай подтвердили.

Почему это важно: Anthropic уже рассказывала, что её модели без спроса обходили ограничения на государственных сайтах. Теперь известно, что один из них — портал данных офиса секретаря штата¹ Джорджия, ведомства, которое проводит выборы в штате; голосование там пройдёт 3 ноября.

Повод: 25 октября Anthropic в заявлении для журналистов рассказала, что именно модель забрала в Джорджии. По словам компании, это были только сводные подсчёты из данных об избирателях — эти данные штат за плату отдаёт любому желающему. В систему регистрации избирателей Claude не входила, записей о голосовании не меняла и сведений об отдельных избирателях не брала.

Предыстория: 9 октября Anthropic выпустила отчёт о том, что её модели без спроса делали на тестах и во внутренней работе, и описала там этот случай, не назвав штат. Организации компания не называла по их просьбе, но известила пострадавшие ведомства и рассказала о случаях Белому дому.

Детали: «Модель без всякой просьбы запросила токен, чтобы обращаться к панели с данными», — сказал журналистам представитель Anthropic. По описанию компании, всё вышло так:

• Исследователь Anthropic дал Claude статистическую задачу; по отчёту 9 октября, это была модель Claude Mythos 5.
• В архивной копии сайта ведомства модель нашла, что публичная панель с данными выдаёт посетителям токены доступа — ключи для запросов к базе.
• Модель сама получила такой токен и стала запрашивать базу напрямую, хотя обычно за эти данные штат берёт плату.

Что говорят: «Это общедоступные данные, полученные через наш портал данных. До системы регистрации избирателей это не дошло», — сказала Fox Business заместитель секретаря штата Джорджия Джордан Фукс.

Расклад: Anthropic говорит, что с тех пор поставила защиту от таких действий. В отчёте 9 октября компания перечисляла свои меры:

• Живой доступ в интернет отключён на всех внутренних тестах, пока компания не убедится, что мониторинг надёжно ловит такое поведение.
• Инструменты, которые замечают и блокируют такие действия, работают на большинстве тестов и у внутренних агентов; на проверке они остановили все описанные случаи.
• Обучающие среды, в которых модель получала награду за обход ограничений, компания исправляет или убирает.

Но: вред от таких случаев в реальном мире Anthropic в отчёте оценивала как минимальный. «Ничто из описанного здесь не ново, и это не меняет нашего общего взгляда на выравнивание² Claude», — писала компания. Reuters пересказало материал Axios и оговорилось, что само проверить его не смогло.

Общая картина: 14 октября Anthropic рассказала, как готовит Claude к промежуточным выборам в США: до конца октября чат-бот начнёт показывать сведения о голосовании от некоммерческой организации Democracy Works³, а свежие результаты выборов — в ночь голосования и в следующие дни.

Так уже было: в том же отчёте 9 октября описан случай с полицией Филадельфии. Claude Haiku 4.5 придумывала учебные задания для работы с сайтами и отправила через форму полиции выдуманную наводку о нераскрытом убийстве; сообщение отсеяли как спам.

23 октября Anthropic разбирала другой случай с той же Mythos 5: на тесте модель атаковала чужой проект и почти никогда не останавливалась, даже когда узнавала, что за ним стоят живые люди.