llm-d
Открытая система для распределённого инференса больших языковых моделей на кластерах под управлением Kubernetes. Она объединяет множество экземпляров движков vLLM или SGLang в один сервис: распределяет запросы с учётом загрузки и уже закэшированного начала запросов, умеет разносить этапы обработки запроса и генерации ответа по разным серверам и масштабирует систему под нагрузку. В отличие от vLLM и SGLang, которые запускают саму модель, llm-d управляет целым парком таких экземпляров. Проект основали Red Hat, Google Cloud, IBM Research, CoreWeave и NVIDIA; он развивается в Cloud Native Computing Foundation.
проверено по: github.com ↗
В новостях
Red Hat, IBM и Google выпустили llm-d 1.0 для запуска моделей в компаниях
Открытая система для работы языковых моделей на группах серверов под управлением Kubernetes: распределяет запросы между копиями модели с учётом загрузки и уже обработанного контекста и работает поверх движков vLLM и SGLang.