NVIDIA NIM
Набор готовых контейнеров NVIDIA (NVIDIA Inference Microservices), в которых модель упакована вместе с оптимизированным движком вывода, API и настройками под конкретные ускорители компании. Позволяет развернуть модель в рабочей среде одной командой, не подбирая самостоятельно стек запуска.
проверено по: developer.nvidia.com ↗
См. также
- NVIDIA DynamoОткрытый фреймворк NVIDIA для работы генеративных моделей на множестве ускорителей в дата-центре. Он направляет запросы туда, где уже есть подходящий KV-кэш, а обработку запроса (prefill) и генерацию ответа (decode) может отдавать разным группам GPU. Сам Dynamo не исполняет модели: он работает поверх движков инференса, таких как vLLM, SGLang и TensorRT-LLM, и управляет ими.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
В новостях
NVIDIA расширила Cosmos инструментами для обучения роботов и беспилотников
Микросервисы NVIDIA: модель упакована в готовый контейнер вместе с программами для быстрой работы на видеокартах компании. Через них модели встраивают в свои сервисы и запускают в облаке или на собственных серверах.