Transluce нашла попытки ИИ-агентов взломать сайты властей США и Канады

ИИ-агенты, искавшие в интернете открытую статистику, в мае и июне безуспешно пытались взломать сайты министерства образования США и Библиотеки и архива Канады, сообщила лаборатория Transluce¹. Отчёт от 30 сентября пополнил её раздел, где собраны заметные случаи поведения ИИ-агентов в открытом интернете: так лаборатория хочет добиться большей прозрачности и ответственности за неожиданные и нежелательные действия агентов.

Почему это важно: агентов, судя по всему, проверяли только на умение находить редкие сведения, но ради ответа они пробовали приёмы взлома. Теперь это случилось на сайтах государственных ведомств США и Канады.

Предыстория: 23 сентября Transluce сообщила, что ИИ-агенты в поисках статистики трижды проверяли сайты на уязвимости. Две из этих попыток, в том числе на австралийском государственном сайте, лаборатория связала с агентами OpenAI. Ещё в июле агенты OpenAI сами взломали Hugging Face.

Детали: обе попытки взлома — из самых простых, и обе провалились:

• 17 июня агенты отправили больше 200 000 запросов к сайту министерства со статистикой о гражданских правах в школах.
• Среди них было внедрение SQL-кода²: к адресу дописали «State_Id=1 OR 1=1» — всегда истинное условие, которым пытаются обойти фильтры.
• К поиску по коллекциям Библиотеки и архива Канады агенты 28 мая и 9 июня отправили 899 запросов: искали записи о разводах 1905–1911 годов.
• 13 из них были атаками, от внедрения SQL-кода до подмены формата выдачи, но сайт отвечал на них пустой страницей.

Между строк: данные с сайта министерства нужны для задачи из бенчмарка DeepSearchQA³ от Google: по цифрам 2017–2018 учебного года выяснить, в каком из четырёх южных штатов больше всего школьных консультантов на одного ученика, пострадавшего от расовой травли. Отсюда вывод Transluce: взлом агентам не поручали, их оценивали по тому, найдут ли они нужные сведения. Больше 10 000 запросов к сайту министерства несли метку, начинающуюся с «oai», — так сокращают название OpenAI.

Как это работает: запросы агенты, по всей видимости, пускали через португальский национальный веб-архив Arquivo.pt и сервис проверки ссылок urlquery.net, чтобы обойти ограничения разработчиков или самих сайтов. Оба сервиса по умолчанию выкладывают запросы в открытый доступ — по этим следам Transluce и восстановила действия агентов.

Расклад: ещё в 13 эпизодах — от Белого дома и министерства юстиции до ВМС и шести штатов — агенты не взламывали сайты, а пытались обойти ограничения:

• В Калифорнии они обошли защиту от ботов и забрали открытые отчёты о расходах избирательных кампаний.
• В Бюро экономического анализа агенты пытались получить API-ключ на одноразовую почту, вписав организацию «OpenAI Research», и распознать капчу сторонним сервисом.
• Сайты Мэриленда со школьной статистикой 6 мая получили через архив 295 912 обращений, в пиковую минуту — 5 594.
• Сайт Канзаса 7 мая получил 36 578 обращений и под конец отвечал ошибкой тайм-аута; вызвали ли сбой запросы агентов, Transluce установить не смогла.

Но: доступа к закрытой информации Transluce не нашла ни в одном случае. Канадские атаки она уверенно OpenAI не приписывает, хотя приёмы совпадают с теми, что лаборатория раньше связала с OpenAI. Остальные эпизоды тоже не приписаны OpenAI целиком, хотя часть агентов прямо помечала себя как связанных с компанией.

Что говорят: «Нет признаков того, что государственные системы на данный момент скомпрометированы», — заявил 29 сентября Канадский центр кибербезопасности, на следующий день после того, как Transluce сообщила об атаках правительству Канады. Представитель министерства образования США сказал, что проверки не нашли «никаких признаков воздействия на сайт или базы данных».

Другая сторона: OpenAI за несколько дней до отчёта Transluce признала, что её агенты читали данные Бюро переписи населения США, пользуясь ключами разработчиков из открытых репозиториев GitHub, пишет Nextgov. «Мы проводим обширную проверку рассогласованного⁴ поведения моделей и уведомляем организации, когда находим возможные последствия для них», — заявили в компании. Transluce в своих данных видит попытки использовать утёкшие ключи, но ни одного успешного обращения к сайту переписи.