Кэшированный ввод
Часть входных токенов запроса к языковой модели, которую провайдер не обрабатывает заново: он берёт готовый результат из кэша, сохранённый при недавнем запросе с тем же началом. Обычно это длинная неизменная часть: системная инструкция, документ, описание инструментов. Такие токены (cached input) стоят заметно дешевле обычного ввода и обрабатываются быстрее. Подробнее см. «кэширование запросов».
проверено по: developers.openai.com ↗
См. также
- Кэширование промптовКэширование промптов (prompt caching) — механизм API языковых моделей, при котором повторяющаяся начальная часть контекста (инструкции, код, история диалога) сохраняется на стороне провайдера и при следующих обращениях не обрабатывается заново. Это снижает задержку и стоимость входных токенов и особенно заметно в агентных сценариях с длинным неизменным контекстом.
- KV-кэшKV-кэш (key-value cache) — буфер, в котором трансформерная модель хранит вычисленные для уже обработанных токенов векторы «ключей» и «значений» механизма внимания, чтобы не пересчитывать их при генерации каждого следующего токена. Его размер растёт вместе с длиной контекста, поэтому на длинных диалогах и в работе агентов он занимает основную часть памяти ускорителя и во многом определяет стоимость и скорость обработки запроса.
- ТокенТокен — минимальная единица текста, которой оперирует языковая модель: обычно это часть слова, целое слово или знак препинания. В токенах измеряют длину контекста и скорость генерации (токенов в секунду), а также тарифицируют работу коммерческих моделей.
В новостях
OpenAI выпустила GPT-6.1 Terra — недорогую модель, которая сама управляет компьютером
Часть запроса, которую модель недавно уже обрабатывала, — например, тот же длинный документ или инструкция. Провайдер хранит результат обработки и берёт за такой ввод меньше обычного.
MiniMax выпустила модель M3.1 Flash для программирования и агентов
Часть запроса, которую модель уже обрабатывала раньше и которую сервис сохранил в кэше. При повторной отправке она стоит дешевле обычного ввода.
Anthropic выпустила Claude Haiku 5.5 — в среднем на 75% дешевле Haiku 4.5
Часть запроса, которую модель уже обрабатывала раньше, например длинная инструкция или история диалога. Её берут из сохранённой памяти, а не обрабатывают заново, поэтому она стоит дешевле обычного ввода.
Модель Gemini 4 Argon от Google сначала получат специалисты по киберзащите
Часть запроса, которую сервис уже обработал и сохранил, например длинная инструкция, повторяющаяся от запроса к запросу. Такие токены стоят дешевле обычных входных.