Словарь
Пакетная обработка
Режим, в котором запросы собирают в большие порции и обрабатывают асинхронно, без ожидания мгновенного ответа (batch processing). Оборудование при этом загружено плотнее, поэтому провайдеры моделей обычно берут за такие запросы меньше, но результат может прийти через несколько часов. Подходит для оценки моделей, разметки и классификации данных, расчёта эмбеддингов — в отличие от работы в реальном времени, например в чате.