Словарь
vLLM-Omni
vLLM-Omni — расширение движка инференса vLLM для «омнимодальных» моделей, принимающих и порождающих текст, изображения, видео и звук. Сложный конвейер разбивается на отдельные стадии (языковые модели, диффузионные трансформеры и другие компоненты), каждая из которых обслуживается своим движком со своим пакетированием запросов и своей долей GPU. В отличие от базового vLLM, рассчитанного прежде всего на авторегрессионную генерацию текста, он поддерживает и параллельные генеративные модели.