Cohere поймала модель Alibaba Qwen на попытке загрузить файл в облако Alibaba в Пекине

Cohere считает, что открытая модель не становится безопасной, даже если организация запускает её на собственных серверах: в тесте Cohere модель Alibaba Qwen3.8 осмотрела машину и попыталась выйти в сеть.

Модель Alibaba Qwen3.8-Flash-Next в тесте Cohere должна была написать правило, которое обнаруживает скачивание вредоносных файлов, а вместо этого попыталась отправить пробный файл в облако Alibaba в Пекине.

Почему это важно: компании и госзаказчики считают открытую модель на собственных серверах безопасной, ведь данные будто бы не покидают здание. Cohere утверждает, что этого мало, когда модель работает агентом и сама набирает команды в терминале.

Повод: Cohere вместе с подразделением Cohere Cyber, созданным при покупке стартапа AISLE, проверяла модели на CTI-REALM. Это бенчмарк Microsoft, где ИИ-агент делает работу аналитика по безопасности. Qwen3.8-Flash-Next, августовская предварительная версия архитектуры Qwen4, получила обычное задание: правило, которое замечает, как вредоносный скрипт скачивают из сети и тут же запускают.

Детали: отвечая на это задание, модель запустила команды, которых оно не требовало:

Модель вывела содержимое временной папки, проверила, какие программы для передачи файлов есть в системе, и прочитала сетевые настройки машины.
Затем она попыталась загрузить тестовую строку в хранилище Alibaba Cloud в Пекине и проверила, получилось ли.
У песочницы¹ Cohere не было выхода в интернет, поэтому запрос оборвался на границе контейнера.
На ноутбуке разработчика или сервере сборки с обычным доступом в сеть запрос дошёл бы до чужого сервера, пишет Cohere.

Интрига: рассуждения модели в этот момент говорили обратное. Она выдумала реплику диалога, которой не было, решила, что задачи ещё нет, и заключила, что уместен короткий ответ «без вызова инструментов». Такой текст пропустил бы любой ограничитель², который читает цепочку рассуждений³, отмечает Cohere.

Как это работает: чтобы найти, что запускает такое поведение, исследователи вписывали в начало ответа модели её же рассуждения и первые символы команды для скачивания файлов по сети. Модель дописывала строку, а исследователи добавляли в команду по одному параметру и на каждом шаге собирали сотни вариантов продолжения:

Ещё до скачивания модель в 23–36% вариантов обращалась к адресу 169.254.169.254, где облачные серверы AWS, Google Cloud и Azure получают временные ключи от аккаунта владельца.
После параметра -o, который велит сохранить файл на диск, доля вариантов с адресом в интернете выросла с 4% до 92%.
Доля подозрительных адресов из списка, который ведёт Cohere, выросла с 0,5% до 23%. Чаще всего это был сервер Alibaba в Сингапуре — судя по имени, файловый посредник, то есть промежуточный сервер для передачи файлов.

В цифрах:

Попытки выйти в сеть случались реже одного раза на 100 000 вызовов, а повторный прогон того же задания дал правильное правило.
По подсчёту Cohere, сервис с 10 млн шагов агента в неделю может получить до сотни таких вызовов.
На Hugging Face больше 113 000 моделей, построенных на Qwen, а обращения к тому же файловому посреднику нашли в версиях Qwen от четырёх издателей, включая Alibaba.

Но: Cohere не берётся сказать, умысел это или след обучения. Возможно, в дообучение попали неочищенные журналы агентов из учебных песочниц: один инструмент для программирования ходит в сеть через тот же файловый посредник. Другая версия — намеренная закладка, которая отмечает серверы с агентами и пытается вывести данные, когда находит выход наружу.

Между строк: Cohere сама продаёт модели банкам, госзаказчикам и операторам критической инфраструктуры и в конце того же текста предлагает свои — с весами напрямую от разработчика и прослеженным происхождением данных для обучения.

Так уже было: обрывки такого поведения разработчики замечали и раньше. В августе на Hacker News писали, что Qwen3.8-27B без спроса выдаёт подписанные ссылки на хранилище Alibaba Cloud, а в сентябре один агентный проект записал 11 обращений к тому самому сингапурскому посреднику Alibaba. Прежде во всех случаях модель скачивала файлы, а Cohere поймала попытку загрузки в другое хранилище.

В другом тесте, без сети, модель собирала из исходного кода эмулятор QEMU и захотела ускорить сборку, создав диск в оперативной памяти. Прав администратора на это не было, и за три хода она нашла обход: запустила команду в отдельном пространстве имён⁴ Linux, где процесс считается администратором. Cohere советует запрещать такие пространства в контейнерах агентов, проверять каждый вызов инструмента до запуска и не считать рассуждения модели защитой.