OpenAI добавила в API кэш промптов на 12 часов для агентов
Разработчики могут держать инструкции агента в кэше OpenAI не меньше 12 часов: сохранить их туда стоит в 2,5 раза дороже обычного ввода, а использовать повторно — в 10–20 раз дешевле.
OpenAI дала разработчикам в API выбрать 12-часовое кэширование промптов1: общие инструкции агента, описания инструментов и контекст остаются в кэше и оплачиваются со скидкой, даже если запросы идут с перерывом в часы.
Почему это важно: агенты, которые работают весь день, раз за разом возвращаются к одним и тем же инструкциям, а при стандартном 30-минутном сроке скидка на запрос спустя час уже не гарантирована.
Повод: OpenAI объявила о новой возможности в соцсети X и адресовала её «постоянным агентам вроде Dots», которые весь день пользуются одним и тем же контекстом. Dots — круглосуточные агенты в ChatGPT, OpenAI запустила их 29 сентября.
Детали: срок хранения задают в Responses API2, и в одном запросе разные сроки можно сочетать:
- На общие инструкции в начале запроса ставят 12 часов, на свежую часть разговора — стандартные 30 минут.
- Срок указывают для всего запроса сразу или отдельно для каждой точки, до которой запрос сохраняется в кэш.
- За один запрос можно сделать до четырёх записей в кэш; у GPT-5.6 и новее кэшируется начало запроса длиной от 1 024 токенов3.
В цифрах: OpenAI считает, что при работе весь день экономия на повторах может намного перекрыть доплату за долгий кэш. Ставки для GPT-5.6 и новее, в долях от цены обычного ввода:
- Запись в 30-минутный кэш стоит 1,25 цены обычного ввода, в 12-часовой — 2,5.
- Чтение из кэша стоит 0,1 у большинства моделей и 0,05 у GPT-6.1 Sol, при любом сроке хранения.
- Когда запросы идут чаще раза в полчаса, выгоднее 30-минутный кэш: одна запись и девять чтений стоят 2,15 цены обычного ввода против 10 без кэша.
- Когда перерывы дольше, короткий кэш может истечь и записываться заново по 1,25 за запрос, а 12-часовая запись и девять чтений в пределах её срока стоят 3,4.
Расклад: у Anthropic, по документации компании, кэш в API Claude хранится 5 минут по умолчанию или час, и запись в часовой стоит вдвое дороже обычного ввода.
Но: у долгого кэша есть оговорки:
- Срок отвечает только за цену: в течение 12 часов совпадающее начало запроса оплачивается как чтение из кэша, но модель не обязательно возьмёт сохранённые вычисления и ответит быстрее.
- Если кэш уже записан на 30 минут, перевод его на 12 часов оплачивается как новая запись, прежняя в счёт не идёт.
Прошлое обновление кэша OpenAI выпустила 22 сентября: у моделей GPT-6 он стал чаще срабатывать сам, а разработчики получили панель статистики, диагностику промахов и ручные точки кэширования.