Инференс
Работа уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
проверено по: research.ibm.com ↗
См. также
- Провайдер инференсаКомпания, которая запускает модели ИИ на своих серверах и даёт доступ к ним по API: клиент отправляет запрос и получает ответ, не разворачивая модель сам (inference provider). На Hugging Face так называют партнёров, через которых модели с Hub можно вызывать с единым токеном и клиентскими библиотеками, выбирая исполнителя запроса.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- Спекулятивное декодированиеПриём ускорения генерации текста языковой моделью (speculative decoding): черновая быстрая модель или дополнительные «головы» предлагают сразу несколько следующих токенов, а основная модель проверяет их за один проход и принимает совпавшую часть. Выигрыш в скорости достигается без ухудшения качества ответа.
- vLLMБиблиотека и сервер с открытым кодом для быстрого инференса больших языковых моделей. Благодаря механизму PagedAttention и пакетной обработке эффективно использует память видеокарт и обслуживает множество параллельных запросов; часто служит точкой отсчёта при сравнении скорости движков.
- NVIDIA DynamoОткрытый фреймворк NVIDIA для работы генеративных моделей на множестве ускорителей в дата-центре. Он направляет запросы туда, где уже есть подходящий KV-кэш, а обработку запроса (prefill) и генерацию ответа (decode) может отдавать разным группам GPU. Сам Dynamo не исполняет модели: он работает поверх движков инференса, таких как vLLM, SGLang и TensorRT-LLM, и управляет ими.
В новостях
Китайские компании ждут лишь 1% заказанных чипов NVIDIA, пишет Bloomberg
Работа уже обученной модели, когда она отвечает на запросы пользователей. В отличие от обучения, идёт постоянно, но на каждый запрос обычно нужно меньше вычислений.
На российский ИИ-чип предлагают 15 млрд рублей, пишут «Ведомости»
Работа уже обученной модели — получение ответов на запросы, в отличие от её обучения. Для инференса обычно хватает менее мощного оборудования, чем для обучения.
Открытые модели обошлись IBM в 11,5 раза дешевле закрытых в разработке чипа
Работа уже обученной модели: обработка запросов и выдача ответов. В отличие от обучения, за инференс платят при каждом обращении к модели.