vLLM
Библиотека и сервер с открытым кодом для быстрого инференса больших языковых моделей. Благодаря механизму PagedAttention и пакетной обработке эффективно использует память видеокарт и обслуживает множество параллельных запросов; часто служит точкой отсчёта при сравнении скорости движков.
проверено по: docs.vllm.ai ↗
См. также
- vLLM-OmnivLLM-Omni — расширение движка инференса vLLM для «омнимодальных» моделей, принимающих и порождающих текст, изображения, видео и звук. Сложный конвейер разбивается на отдельные стадии (языковые модели, диффузионные трансформеры и другие компоненты), каждая из которых обслуживается своим движком со своим пакетированием запросов и своей долей GPU. В отличие от базового vLLM, рассчитанного прежде всего на авторегрессионную генерацию текста, он поддерживает и параллельные генеративные модели.
- SGLangОткрытый движок инференса для больших языковых и мультимодальных моделей, развиваемый сообществом LMSYS и ориентированный на высокую пропускную способность и низкие задержки — от одной видеокарты до кластеров. Направление SGLang Diffusion добавляет к нему ускоренную генерацию изображений и видео диффузионными моделями.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- llama.cppllama.cpp — открытый движок на C/C++ для запуска больших языковых моделей на обычных компьютерах, включая машины без мощной видеокарты и компьютеры Apple. Использует квантованные модели формата GGUF и служит основой для многих локальных ИИ-приложений.
- Пакетная обработкаРежим, в котором запросы собирают в большие порции и обрабатывают асинхронно, без ожидания мгновенного ответа (batch processing). Оборудование при этом загружено плотнее, поэтому провайдеры моделей обычно берут за такие запросы меньше, но результат может прийти через несколько часов. Подходит для оценки моделей, разметки и классификации данных, расчёта эмбеддингов — в отличие от работы в реальном времени, например в чате.
В новостях
DeepSeek открыла код DeepInfer — движка, на котором работают её модели
Открытый движок для запуска языковых моделей на серверах, созданный в Калифорнийском университете в Беркли. На нём модели обслуживают многие облака и компании.
NVIDIA выложила сжатую модель Nemotron 3.5 Bolt для ИИ-агентов на ноутбуке
Открытый движок для работы языковых моделей на серверах с видеокартами: обслуживает много запросов одновременно и быстро выдаёт ответы.
Hugging Face научилась обучать открытые модели прямо в агентах Claude Code и Codex
Открытая программа для быстрого запуска языковых моделей на серверах: принимает запросы и отдаёт ответы многим пользователям одновременно.
SemiAnalysis вынесла часть DeepSeek V4.1-Flash из видеопамяти в ОЗУ
Открытая программа для запуска языковых моделей на серверах: она принимает запросы пользователей и отдаёт ответы модели. На ней работают многие облачные сервисы.
Cohere выложила код сервера, генерирующего до 1,58 раза быстрее vLLM. Как это работает
Открытый движок, на котором языковые модели запускают на серверах и отдают пользователям ответы. Распространён в отрасли и служит типичной точкой сравнения по скорости.