GPT-6 чаще находит повторяющиеся части запросов в кэше: OpenAI доработала кэширование
OpenAI доработала кэширование промптов для GPT-6: повторяющееся начало запросов чаще берётся из кэша. Разработчики получили диагностику и метки, которыми в запросе отмечают, что сохранить в кэше. По словам компании, это снижает задержки и расходы.
GPT-6 стала чаще брать повторяющиеся части запросов из кэша, а не обрабатывать их заново. OpenAI доработала для неё кэширование промптов и добавила разработчикам инструменты, которые, по словам компании, сокращают задержку и расходы.
Кэширование выручает, когда запросы начинаются одинаково — с одних и тех же инструкций, документов или описания инструментов. Такое начало модель уже однажды обработала и может взять готовым: ответ приходит быстрее, а за эти токены1 берут меньше.
Помимо более частых попаданий в кэш, у разработчиков появились новая диагностика, которая помогает понять, почему запрос в кэш не попал, и явные точки разрыва. Ими прямо в запросе отмечают, где заканчивается часть, которую стоит сохранить. Ещё OpenAI добавила настройки, которые управляют работой кэша.