Исследователи спрятали в модели способность, которую не выявляют проверки

Группа Андиса Драгунса и Кристиана Шрёдера де Витта встроила в веса модели¹ зашифрованную нейросеть, которая работает только по секретному паролю, — и опробованные методы проверки не смогли её включить. Авторы препринта на arXiv утверждают, что при стандартных криптографических допущениях это доказуемо: если пароль достаточно сложный, то даже с полным доступом к весам за разумное время не удастся ни найти его, ни понять, что спрятано.

Почему это важно: Anthropic и OpenAI решают, выпускать ли модель, по итогам проверок, которые пытаются выявить у неё опасные способности. Работа показывает: если веса мог подменить нечестный сотрудник или взломанный поставщик, неудачная проверка не доказывает, что опасной способности нет.

Предыстория: в 2024 году Драгунс, Мотвани и Шрёдер де Витт с соавторами показали бэкдор², пароль к которому даже по весам не найти за разумное время, но прятал он лишь заранее заданную строку текста. Теперь внутри может быть любое вычисление, в том числе обученная нейросеть.

Как это работает: способность прячут в три шага.

• Небольшую нейросеть с нужной способностью обучают отдельно, а её веса шифруют секретным паролем.
• Зашифрованные веса и механизм расшифровки на хеш-функции Keccak³ встраивают в модель-носитель, выставляя её веса программно, а не обучением.
• При каждом запросе модель пытается расшифровать тайник: с верным паролем сеть восстанавливается и отвечает, с неверным модель ведёт себя как обычно.

Детали: подход проверили на химии. Спрятанная сеть по реагентам и предполагаемому продукту определяет, получится ли он в реакции, — авторы называют это упрощённой заменой способностей, важных для химического, биологического, радиологического и ядерного оружия. Планирование синтеза в задачу нарочно не включили.

В цифрах: с паролем модель верно оценивает реакцию в 73,5% случаев, а без пароля проверки почти не ушли от случайного угадывания — 50%:

• После дообучения⁴ на той же задаче модель угадывала в 50,9% случаев, а контрольная, где спрятана случайная сеть, — в 50,6%.
• Состязательное обучение, при котором искажают внутренние сигналы модели, дало 52,9% против 53,6% у контроля, шум в весах тоже не помог.
• Поиск пароля по градиентам (метод GCG) оказался не лучше случайного перебора: 8-битный пароль нашёлся, только когда перебрали все 256 вариантов, а с 16-битным метод не справился.
• Модель, которую без всякого шифрования обучили показывать ту же способность только по паролю, дообучение раскрыло: без пароля она стала отвечать почти так же точно, как с ним.

Но: сами авторы пишут, что их прототип — «не готовая к применению атака»: он прячет лишь маленький классификатор и обходится очень дорого.

• Ради сети из 672 весов модель-носитель разрастается до 2,07 млрд параметров, почти все из которых — нули.
• В опытах криптозащиту ослабили ради скорости, а полная версия со 128-битным паролем занимает 3,58 млрд параметров.
• Целиком в готовую обученную модель конструкцию не встраивали: в Gemma 3 270M, небольшую открытую модель Google, вставили и проверили только отдельные блоки.
• Сам тайник можно заметить: маскировка сглаживает статистику весов, но странные связи между ними остаются.

Если шире: проверки, которые опираются только на выявление способностей, по словам авторов, «не могут дать универсальной гарантии», что у модели от злонамеренного поставщика нет скрытых возможностей. Авторы предлагают проверять всю цепочку — данные, обучение, работу модели — и во время работы следить за внутренними сигналами модели: когда приходит пароль, спрятанное вычисление может себя выдать.

Модели с тайниками авторы выложили в открытый доступ, чтобы на них можно было испытывать новые способы защиты.