SGLang
Открытый движок инференса для больших языковых и мультимодальных моделей, развиваемый сообществом LMSYS и ориентированный на высокую пропускную способность и низкие задержки — от одной видеокарты до кластеров. Направление SGLang Diffusion добавляет к нему ускоренную генерацию изображений и видео диффузионными моделями.
проверено по: docs.sglang.io ↗
См. также
- SGLang DiffusionЧасть открытого движка для запуска моделей SGLang, рассчитанная на диффузионные модели, которые генерируют и редактируют изображения и видео. Она ускоряет генерацию и превращает модель в сервис: к ней можно обращаться через API, совместимый с OpenAI, через командную строку или из кода на Python. Основную часть SGLang используют для языковых моделей.
- vLLMБиблиотека и сервер с открытым кодом для быстрого инференса больших языковых моделей. Благодаря механизму PagedAttention и пакетной обработке эффективно использует память видеокарт и обслуживает множество параллельных запросов; часто служит точкой отсчёта при сравнении скорости движков.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- llm-dОткрытая система для распределённого инференса больших языковых моделей на кластерах под управлением Kubernetes. Она объединяет множество экземпляров движков vLLM или SGLang в один сервис: распределяет запросы с учётом загрузки и уже закэшированного начала запросов, умеет разносить этапы обработки запроса и генерации ответа по разным серверам и масштабирует систему под нагрузку. В отличие от vLLM и SGLang, которые запускают саму модель, llm-d управляет целым парком таких экземпляров. Проект основали Red Hat, Google Cloud, IBM Research, CoreWeave и NVIDIA; он развивается в Cloud Native Computing Foundation.
В новостях
В ответах GLM-5.3 в облаке Cloudflare две недели попадались чужие данные
Открытый движок для инференса языковых моделей: программа, которая запускает модель на видеокартах и обслуживает запросы пользователей. Проект вырос из лаборатории Калифорнийского университета в Беркли, развивает его компания RadixArk.
Вышел движок SGLang-TorchTPU для ускорителей Google, Meta уже им пользуется
Открытый движок для запуска языковых и мультимодальных моделей: принимает запросы, распределяет их по ускорителям и отдаёт ответы через API. Вырос из исследовательского проекта LMSYS.
Открытый движок SGLang-Omni поддержал три типа голосовых ассистентов
Открытый движок для инференса языковых моделей: принимает запросы множества пользователей и распределяет вычисления по видеокартам. Начинался как исследовательский проект LMSYS.
Nunchux научила MiniMax-H3 делать 5 секунд видео за 1,3 секунды
Открытый движок для запуска языковых и мультимодальных моделей на серверах. Он распределяет вычисления по видеокартам и обслуживает запросы к модели.
Xiaomi выпустила малую модель для агентов, дообученную на данных MiMo-V2.6
Открытый движок для запуска языковых моделей на серверах. Он быстро генерирует ответы и отдаёт их приложениям через API.
Видеомодель MiniMax H3 на SGLang генерирует ролик вдвое быстрее, чем он длится
Движок с открытым кодом для быстрого запуска моделей. Его ветка SGLang-Diffusion рассчитана на диффузионные модели, которые генерируют изображения и видео.