Словарь
NVIDIA Model Optimizer
Открытая библиотека NVIDIA (ModelOpt, прежде — TensorRT Model Optimizer) для сжатия и ускорения нейросетей перед развёртыванием: квантизации, дистилляции, прореживания, спекулятивного декодирования. Принимает модели в форматах PyTorch, Hugging Face или ONNX и готовит оптимизированные чекпоинты для движков инференса вроде TensorRT-LLM, TensorRT и vLLM.