vLLM-Omni
vLLM-Omni — расширение движка инференса vLLM для «омнимодальных» моделей, принимающих и порождающих текст, изображения, видео и звук. Сложный конвейер разбивается на отдельные стадии (языковые модели, диффузионные трансформеры и другие компоненты), каждая из которых обслуживается своим движком со своим пакетированием запросов и своей долей GPU. В отличие от базового vLLM, рассчитанного прежде всего на авторегрессионную генерацию текста, он поддерживает и параллельные генеративные модели.
проверено по: docs.vllm.ai ↗
См. также
- vLLMБиблиотека и сервер с открытым кодом для быстрого инференса больших языковых моделей. Благодаря механизму PagedAttention и пакетной обработке эффективно использует память видеокарт и обслуживает множество параллельных запросов; часто служит точкой отсчёта при сравнении скорости движков.
- ОмнимодальныйТак называют модели, которые в одной системе принимают и совместно обрабатывают текст, изображения, звук и видео, а некоторые ещё и отвечают речью (omni-modal). Этим они отличаются от более распространённых мультимодальных моделей, которые обычно ограничиваются текстом и картинками. Омнимодальная модель может, например, связать сказанное в ролике с тем, что видно в кадре.
- SGLang DiffusionЧасть открытого движка для запуска моделей SGLang, рассчитанная на диффузионные модели, которые генерируют и редактируют изображения и видео. Она ускоряет генерацию и превращает модель в сервис: к ней можно обращаться через API, совместимый с OpenAI, через командную строку или из кода на Python. Основную часть SGLang используют для языковых моделей.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
В новостях
Intel добавила в OpenVINO модель Alibaba для картинок Qwen-Image-2.1
Версия открытого движка vLLM для раздачи по сети моделей, которые работают не только с текстом, но и с картинками, звуком и видео.