Словарь
Кэширование промптов
Кэширование промптов (prompt caching) — механизм API языковых моделей, при котором повторяющаяся начальная часть контекста (инструкции, код, история диалога) сохраняется на стороне провайдера и при следующих обращениях не обрабатывается заново. Это снижает задержку и стоимость входных токенов и особенно заметно в агентных сценариях с длинным неизменным контекстом.