Сжатие контекста
Приём для длинных диалогов и долгих задач ИИ-агентов (compaction): когда контекстное окно почти заполнено, старая история заменяется кратким пересказом, и дальше модель работает уже с ним. Так модель может работать дольше, чем позволяет окно, но детали при пересказе могут потеряться, а ошибка в сводке останется с моделью до конца работы. Простая очистка контекста удаляет старые сообщения, а сжатие заменяет их пересказом.
проверено по: platform.claude.com ↗
См. также
- Контекстное окноМаксимальный объём текста в токенах, который языковая модель может обработать за один раз. В него входят запрос, приложенные документы, история диалога и сам ответ модели. Если текст не помещается, часть приходится обрезать или сжимать. От размера окна зависит, сколько кода или документов можно дать модели разом.
- ИИ-агентПрограмма, обычно на основе языковой модели, которая не просто отвечает на вопрос, а сама выполняет многошаговую задачу: планирует шаги, вызывает инструменты и внешние сервисы, работает с файлами и данными и учитывает промежуточные результаты. От обычного чат-бота отличается самостоятельностью: человек ставит цель, а последовательность действий агент выбирает сам.
- Кэширование промптовКэширование промптов (prompt caching) — механизм API языковых моделей, при котором повторяющаяся начальная часть контекста (инструкции, код, история диалога) сохраняется на стороне провайдера и при следующих обращениях не обрабатывается заново. Это снижает задержку и стоимость входных токенов и особенно заметно в агентных сценариях с длинным неизменным контекстом.
В новостях
Внешние проверяющие нашли бреши в системе, следящей за агентами OpenAI
Приём, при котором агент, заполнив контекстное окно, заменяет раннюю часть разговора кратким пересказом, чтобы продолжить работу.
Alibaba ускорила обучение ИИ-агентов на многочасовых задачах до 1,85 раза
Приём, при котором агент заменяет длинную историю своей работы кратким пересказом, чтобы она поместилась в контекстное окно модели.
Anthropic выпустила Claude Haiku 5.5 — в среднем на 75% дешевле Haiku 4.5
Приём, при котором длинную историю разговора или работы агента заменяют кратким пересказом, чтобы она поместилась в контекстное окно модели и обходилась дешевле.
Сотрудник Inception свёл в гид 106 списков о моделях, которые не пишут текст, а выбирают ответ
Приём, при котором агент сокращает накопившуюся историю работы — пересказывает её или выбрасывает лишнее, — чтобы она уместилась в контекстное окно модели.
OpenAI нашла промпт-инъекции, которые копируют себя, как компьютерные черви
Приём, при котором агент в долгой работе заменяет накопившуюся историю диалога краткой сводкой, чтобы уложиться в контекстное окно модели.