Пакетная обработка
Режим, в котором запросы собирают в большие порции и обрабатывают асинхронно, без ожидания мгновенного ответа (batch processing). Оборудование при этом загружено плотнее, поэтому провайдеры моделей обычно берут за такие запросы меньше, но результат может прийти через несколько часов. Подходит для оценки моделей, разметки и классификации данных, расчёта эмбеддингов — в отличие от работы в реальном времени, например в чате.
проверено по: developers.openai.com ↗
См. также
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- Кэширование промптовКэширование промптов (prompt caching) — механизм API языковых моделей, при котором повторяющаяся начальная часть контекста (инструкции, код, история диалога) сохраняется на стороне провайдера и при следующих обращениях не обрабатывается заново. Это снижает задержку и стоимость входных токенов и особенно заметно в агентных сценариях с длинным неизменным контекстом.
- Пропускная способностьОбъём работы, который система выполняет за единицу времени (throughput). Для сервисов с языковыми моделями это число обработанных запросов или токенов в секунду по всем одновременным запросам; для каналов связи и памяти — объём данных, передаваемых за секунду. Её часто повышают пакетной обработкой, но при этом может расти задержка отдельного запроса.
В новостях
OpenAI выпустила GPT-6.1 Terra — недорогую модель, которая сама управляет компьютером
Режим API, в котором запросы отправляют пачкой, а ответы приходят не сразу, а в течение нескольких часов. За ожидание провайдер снижает цену.