Пропускная способность
Объём работы, который система выполняет за единицу времени (throughput). Для сервисов с языковыми моделями это число обработанных запросов или токенов в секунду по всем одновременным запросам; для каналов связи и памяти — объём данных, передаваемых за секунду. Её часто повышают пакетной обработкой, но при этом может расти задержка отдельного запроса.
проверено по: bentoml.com ↗
См. также
- Пакетная обработкаРежим, в котором запросы собирают в большие порции и обрабатывают асинхронно, без ожидания мгновенного ответа (batch processing). Оборудование при этом загружено плотнее, поэтому провайдеры моделей обычно берут за такие запросы меньше, но результат может прийти через несколько часов. Подходит для оценки моделей, разметки и классификации данных, расчёта эмбеддингов — в отличие от работы в реальном времени, например в чате.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- Высокопропускная памятьВысокопропускная память (High Bandwidth Memory, HBM) — стандарт JEDEC, в котором кристаллы памяти собирают в вертикальные стопки и размещают в одном корпусе рядом с процессором или ускорителем. Даёт на порядок большую пропускную способность, чем обычная оперативная память, и потому применяется в ИИ-ускорителях и суперкомпьютерах.
В новостях
Движок vLLM для запуска моделей получил поддержку стоек NVIDIA Vera Rubin
Сколько токенов система выдаёт в секунду суммарно по всем запросам. Это не то же самое, что скорость ответа одному пользователю: система может обслуживать много людей сразу, но каждому отвечать небыстро.
Ai2 ускорил в 2,7 раза свою открытую систему обучения больших моделей
Сколько данных система обрабатывает за единицу времени. При обучении моделей её обычно считают в токенах в секунду.