Словарь
Кэшированный ввод
Часть входных токенов запроса к языковой модели, которую провайдер не обрабатывает заново: он берёт готовый результат из кэша, сохранённый при недавнем запросе с тем же началом. Обычно это длинная неизменная часть: системная инструкция, документ, описание инструментов. Такие токены (cached input) стоят заметно дешевле обычного ввода и обрабатываются быстрее. Подробнее см. «кэширование запросов».