Словарь
Задержка
Задержка (latency) — время между отправкой запроса и получением отклика; для языковых моделей часто измеряют время до первого токена. Отличается от пропускной способности, которая показывает объём работы (например, число токенов или запросов) за единицу времени.