OpenAI обновила кэширование запросов в GPT-6 для долгих агентов

У моделей GPT-6 кэш чаще срабатывает сам, а разработчики получили панель статистики, диагностику промахов и ручные точки кэширования.

Вместе с моделями GPT-6 OpenAI запустила новую систему кэширования запросов: она по умолчанию чаще узнаёт уже обработанный контекст, а разработчики получили инструменты, чтобы следить за кэшем и настраивать его.

Почему это важно: агенты на GPT-6 часами переделывают код или готовят документы и презентации и отправляют в API¹ цепочки запросов с одинаковым началом. Чем чаще это начало берётся из кэша, тем быстрее ответ и меньше счёт: на входные токены² из кэша OpenAI даёт скидку до 90%.

Как это работает: каждый следующий запрос агента повторяет инструкции, описания инструментов и контекст прошлых шагов. OpenAI хранит результат обработки этого общего начала и не считает его заново, а скидку даёт, если подходящее начало повторяется в течение 30 минут.

Повод: новая система работает без дополнительных настроек, а к ней добавились два инструмента для наблюдения:

Панель Prompt Caching Dashboard показывает, какая доля входа приложения берётся из кэша и как эта доля меняется со временем.
Диагностика сравнивает запрос с недавним ответом, находит, что помешало попаданию в кэш, и оценивает число затронутых токенов.

Детали: необязательные ручные настройки дополняют то, что система делает сама:

Точки кэширования позволяют самому выбрать, какое начало запроса сохранять для повторного использования.
Уровень рассуждений — сколько модель думает над ответом — на GPT-6 можно поднять или снизить между ответами, не сбрасывая кэш.
«Прогрев» заранее обрабатывает известный контекст, например инструкции при запуске приложения, и первый ответ пользователю приходит быстрее.

Но: повторно использовать контекст не выйдет, если у инструментов меняются описания, схемы или порядок. OpenAI советует не удалять лишние инструменты, а только запрещать их вызов, и дописывать новые инструкции ближе к концу контекста.

Проверить свою интеграцию компания предлагает с помощью Codex, своего агента для программирования: он просмотрит код, внесёт правки и измерит результат.

Подробнее: анонс появился 22 сентября — в тот же день вышли GPT-6 Sol и Luna, более дешёвые модели поколения GPT-6.