NVIDIA и Принстон ускорили гибридные ИИ-модели на загруженных серверах

NVIDIA и лаборатория Три Дао¹ из Принстонского университета описали в статье ReplaySSM — приём, который ускоряет на загруженных серверах гибридные языковые модели вроде Qwen3.5 и Nemotron 3.

Почему это важно: гибридными сделаны многие новые модели — Nemotron 3, Qwen с версии 3.5 по 3.8, Kimi-K3, GLM-5.3-Flash: большинство слоёв в них хранит не всю историю текста, а сжатую память постоянного размера. Такие слои придумали ради скорости, но на серверах с сотнями запросов узким местом могут становиться как раз они.

Повод: впервые приём показала лаборатория Дао 15 июня. Теперь вышла полная статья с замерами на четырёх моделях семейств Nemotron 3 и Qwen3.5 — от 4 до 122 млрд параметров.

Как это работает: большинство слоёв гибридной модели — слои пространства состояний (SSM), а слоёв механизма внимания в ней лишь несколько.

• Внимание хранит запись о каждом прочитанном токене, и этот KV-кэш растёт вместе с текстом.
• Слой SSM сжимает прочитанное в «память» постоянного размера, но на каждом новом токене читает её из видеопамяти и записывает обратно.
• В Nemotron-3-Super память одного слоя весит около 4 МБ на запрос — как KV-кэш внимания на 8 тыс. токенов, а слоёв SSM там впятеро больше.
• ReplaySSM хранит копию памяти и входные данные слоя для последних токенов (в тестах — для 16), считает по ним результат слоя, а копию переписывает раз в 16 шагов.

В цифрах: авторы сравнивали приём со штатной реализацией слоёв SSM в vLLM — популярной программе для запуска моделей на серверах.

• Обмен данными с видеопамятью в слоях SSM сокращается примерно вдвое: копия памяти записывается раз в 16 шагов, а не на каждом.
• При 256 одновременных запросах сами слои SSM считают в 1,46–1,8 раза быстрее, а весь шаг генерации ускоряется в 1,2–1,47 раза.
• Выигрыш растёт с числом запросов, потому что вместе с ним растёт доля времени, которую в шаге занимают слои SSM.

Детали: отдельный выигрыш — в спекулятивном декодировании, когда черновой механизм угадывает несколько следующих токенов, а модель проверяет их за один проход.

• Отвергнутые токены из сжатой памяти SSM уже не вычесть, поэтому vLLM сохраняет копию памяти после каждого чернового токена.
• ReplaySSM просто дописывает черновики к буферу входов, а отвергнутые отбрасывает сдвигом указателя, как это делается в KV-кэше.
• На двух моделях примерно по 120 млрд параметров при 512 запросах пропускная способность выросла в 1,85 и 2,1 раза по сравнению с vLLM.

Интрига: память SSM можно хранить в сжатом 4-битном формате NVFP4 и обрабатывать до 3,8 раза быстрее, чем 32-битную, но тогда копятся ошибки округления: каждый шаг память обновляется из самой себя.

• ReplaySSM держит две копии: более точную, из которой пересчитывается память, и сжатую только для чтения — она никогда не возвращается в пересчёт, и её ошибка влияет лишь на ответы до следующей перезаписи копий.
• На тесте GPQA Diamond² одна общая сжатая копия отняла у четырёх моделей от 3 до 31 процентного пункта точности.
• С двумя копиями три модели из четырёх остались в пределах примерно 2 пунктов от результата с полной точностью.

Расклад: ReplaySSM уже встроен в открытые программы для запуска моделей TensorRT-LLM, vLLM, SGLang и FlashInfer. Z.ai обслуживает с ним запросы к GLM-5.3-Flash, а Kimi-K3 от Moonshot AI похожим способом хранит входы черновых токенов и ссылается на ReplaySSM как на параллельную разработку.

Но: с одним запросом ускорения в тестах нет — там время уходит на другое, и выигрыш появляется только при большой нагрузке на сервер.