TensorRT LLM
TensorRT LLM — библиотека NVIDIA с открытым исходным кодом для ускорения работы больших языковых моделей на графических процессорах компании. Помогает разработчикам развёртывать модели и распределять вычисления между несколькими ускорителями и серверами.
проверено по: nvidia.github.io ↗
См. также
- vLLMБиблиотека и сервер с открытым кодом для быстрого инференса больших языковых моделей. Благодаря механизму PagedAttention и пакетной обработке эффективно использует память видеокарт и обслуживает множество параллельных запросов; часто служит точкой отсчёта при сравнении скорости движков.
- SGLangОткрытый движок инференса для больших языковых и мультимодальных моделей, развиваемый сообществом LMSYS и ориентированный на высокую пропускную способность и низкие задержки — от одной видеокарты до кластеров. Направление SGLang Diffusion добавляет к нему ускоренную генерацию изображений и видео диффузионными моделями.
- NVIDIA DynamoОткрытый фреймворк NVIDIA для работы генеративных моделей на множестве ускорителей в дата-центре. Он направляет запросы туда, где уже есть подходящий KV-кэш, а обработку запроса (prefill) и генерацию ответа (decode) может отдавать разным группам GPU. Сам Dynamo не исполняет модели: он работает поверх движков инференса, таких как vLLM, SGLang и TensorRT-LLM, и управляет ими.
- NVIDIA NIMНабор готовых контейнеров NVIDIA (NVIDIA Inference Microservices), в которых модель упакована вместе с оптимизированным движком вывода, API и настройками под конкретные ускорители компании. Позволяет развернуть модель в рабочей среде одной командой, не подбирая самостоятельно стек запуска.
- CUDAПлатформа параллельных вычислений и модель программирования от NVIDIA. С ней разработчики пишут программы для графических процессоров NVIDIA на C, C++ и других языках. На CUDA опирается большая часть софта для машинного обучения, поэтому её часто называют главным конкурентным преимуществом NVIDIA перед другими производителями чипов.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
В новостях
NVIDIA в 3,5 раза ускорила работу модели для картинок FLUX 3 Image Klein
Открытая библиотека NVIDIA, которая ускоряет работу нейросетей на видеокартах компании: сжимает веса, подбирает быстрые вычислительные ядра и распределяет модель по нескольким ускорителям.