NVIDIA Dynamo

Открытый фреймворк NVIDIA для работы генеративных моделей на множестве ускорителей в дата-центре. Он направляет запросы туда, где уже есть подходящий KV-кэш, а обработку запроса (prefill) и генерацию ответа (decode) может отдавать разным группам GPU. Сам Dynamo не исполняет модели: он работает поверх движков инференса, таких как vLLM, SGLang и TensorRT-LLM, и управляет ими.