Движок TokenSpeed ускорил Qwen3.8-Flash-Next до 685 токенов в секунду

Открытый движок TokenSpeed — программа, которая запускает языковые модели на серверах, — генерировал ответ модели Alibaba Qwen3.8-Flash-Next со скоростью 685 токенов¹ в секунду для одного пользователя на четырёх ускорителях NVIDIA GB300. Это замеры самих разработчиков из некоммерческого фонда LightSeek. Команда Qwen из Alibaba поздравила их в соцсети X и назвала результаты впечатляющими.

Почему это важно: Qwen3.8-Flash-Next — ранняя версия архитектуры будущей Qwen4, и тем, кто будет запускать модели Qwen4 на своих серверах или в облаке, приёмы TokenSpeed могут пригодиться. В новой архитектуре время уходит не туда, куда в прежних моделях: на выбор нужных фрагментов истории, дополнительные вычисления между слоями и угадывание токенов наперёд.

Детали: модель устроена как смесь экспертов²: из 125 млрд параметров на каждый токен работают 6 млрд. Ещё 4 млрд параметров — у отдельного модуля, который угадывает несколько токенов вперёд, а основная модель проверяет догадки за один проход: это спекулятивное декодирование³. В замерах за один проход основной модели в среднем добавлялось 3,2 токена.

Как это работает: разработчики ускоряли не только сами вычисления, но и подготовку к ним:

• Одни слои модели хранят историю диалога в сжатом виде, другие — слои разреженного внимания — выбирают из неё до 512 блоков по четыре токена; движок ускорил сам этот выбор.
• Когда основная модель проверяет догадки, движок загружает сжатые описания блоков истории один раз на группу до четырёх проверяемых токенов одного запроса, а не заново для каждого.
• Вместо одного потока промежуточных данных у модели четыре ветки; всю цепочку операций по их смешиванию движок свёл в одну программу для видеокарты.
• Подготовку следующих вычислений движок запускает, не дожидаясь конца предыдущих; сильнее всего это ускорило слои со сжатой историей: при 16 одновременных запросах их задержка сократилась на 8,5%.

В цифрах: тест SWE-Smith имитирует работу агента для программирования. В диалоге 10–15 реплик: в первой модель получает 50 000 токенов, в каждой следующей — по 800 новых, а ответ каждый раз ограничен 500 токенами. Что показали замеры:

• С одним диалогом каждый пользователь получал 685,9 токена в секунду, с 32 одновременными диалогами — 95,7.
• Общая выработка при этом выросла почти вчетверо: с 7 321 до 29 006 токенов в минуту на одну видеокарту.
• Второй тест, AgentX, оценивает скорость по длинным паузам между токенами, а не по средней паузе: около 375 токенов в секунду при одном запросе и около 34 — при 32.

Но: 685 токенов в секунду — лучший случай, когда на четырёх ускорителях работает один пользователь. Модель при этом сжата квантизацией⁴ до четырёхбитного формата NVFP4, а сравнения с другими движками в разборе нет.

TokenSpeed вышел в мае 2026 года под лицензией MIT; фонд LightSeek развивает его при поддержке NVIDIA и AMD, а скрипт для повторения замера лежит в репозитории проекта. В августе, когда Alibaba открыла веса Qwen3.8-Flash-Next, NVIDIA называла больше 200 токенов в секунду на пользователя на стойке GB300 NVL72 — но на другом оборудовании и в другом тесте.