Словарь
Пропускная способность
Объём работы, который система выполняет за единицу времени (throughput). Для сервисов с языковыми моделями это число обработанных запросов или токенов в секунду по всем одновременным запросам; для каналов связи и памяти — объём данных, передаваемых за секунду. Её часто повышают пакетной обработкой, но при этом может расти задержка отдельного запроса.