IBM ускорила плагин, который заглядывает внутрь модели во время ответа

IBM Research выпустила MIA — новую версию открытого плагина vLLM-Hook. Он позволяет следить за внутренней работой языковой модели во время ответа и вмешиваться в неё почти без задержки.

Почему это важно: проверку безопасности можно ставить прямо в момент ответа, на той же быстрой системе, где модель обслуживает клиентов. Раньше такие инструменты заметно тормозили ответы, и компаниям оставалось обучать к модели небольшие надстройки (адаптеры) под каждую проблему или переобучать саму модель.

Повод: исследователи IBM описали MIA в новом техническом отчёте и замерили, как она работает в vLLM — главном открытом движке, на котором компании обслуживают запросы к своим моделям.

Детали: разработчик выбирает, какие внутренние состояния модели считывать или менять: так можно отклонить вредоносный запрос, пометить выдуманный факт или поправить тон и точность ответа. «Надеемся, это сделает более практичными проверки безопасности в vLLM прямо перед выдачей ответа», — говорит Айрин Ко, исследовательница IBM, которая руководит проектом vLLM-Hook. Плагин уже входит в набор инструментов IBM Steerability, где разработчики придумывают и проверяют способы управлять поведением модели.

Как это работает: vLLM быстр, потому что один раз записывает повторяющиеся вычисления на видеокарте в готовый граф, а потом запускает его одной командой. MIA встраивается в эту схему:

• Обычным инструментам интерпретируемости¹ нужно выполнять код на Python в каждом слое модели, а для этого в vLLM приходится отключать граф и переходить в медленный режим.
• MIA ставит в граф операции, которые считывают и меняют внутренние состояния модели, ещё до того, как граф записан.
• «Планировщик» превращает выбор разработчика в указания для видеокарты и хранит их по фиксированным адресам её памяти: при каждом запуске графа видеокарта по ним считывает или меняет нужные состояния.
• «Курьер» переносит считанные данные в оперативную память компьютера и отдаёт их вместе с ответом модели.

В цифрах: вот что показал технический отчёт IBM:

• MIA работает до 20 раз быстрее первой версии vLLM-Hook и до 14 раз быстрее похожего способа, который встраивает код прямо в модель.
• На небольших моделях — Llama с 8 млрд параметров и Qwen с 1,5 млрд — вмешательство в некоторых опытах замедляло генерацию всего на 2%.
• На крупной Llama с 70 млрд параметров задержка выросла лишь до 6%.

Расклад: по замерам IBM, MIA обошла два соседних подхода:

• Плагин vLLM-Lens британского института безопасности ИИ² тоже вставляет код на Python в слои модели и поэтому работает только в медленном режиме.
• EasySteer оставляет быстрый режим включённым, но это переделанная копия vLLM: её приходится постоянно сверять с основным проектом, а сам vLLM часто обновляется и такие копии официально не одобряет.

Но: все цифры — из замеров самой IBM. Плагин проверен только на Linux с видеокартами NVIDIA H100, так написано в его описании на GitHub.

Что дальше: IBM и исследователи из других организаций объявили соревнование Steerability Challenge при конференции NeurIPS³ 2026 в Сиднее. Участники поборются за призы на 25 тыс. долларов: нужно собрать набор вмешательств, которые подавляют «нечестное» поведение модели и не портят её общих способностей.

Проект вырос из детектора, который Ко, её коллега по безопасности ИИ Пин-Юй Чэнь и другие исследователи сделали против запросов, выманивающих у модели запретные сведения. Детектор следит, на какие части запроса модель обращает внимание, и замечает отклонения, после которых она может нарушить свои ограничители. «Я сказал, что идея отличная, но заставить её работать в vLLM будет мучительно», — вспоминает Дэвид Кокс, вице-президент IBM, который руководит разработкой ИИ. Первая версия vLLM-Hook вышла в марте и вставляла код в слои модели через хуки⁴.