KV-кэш
KV-кэш (key-value cache) — буфер, в котором трансформерная модель хранит вычисленные для уже обработанных токенов векторы «ключей» и «значений» механизма внимания, чтобы не пересчитывать их при генерации каждого следующего токена. Его размер растёт вместе с длиной контекста, поэтому на длинных диалогах и в работе агентов он занимает основную часть памяти ускорителя и во многом определяет стоимость и скорость обработки запроса.
проверено по: huggingface.co ↗
См. также
- Кэширование промптовКэширование промптов (prompt caching) — механизм API языковых моделей, при котором повторяющаяся начальная часть контекста (инструкции, код, история диалога) сохраняется на стороне провайдера и при следующих обращениях не обрабатывается заново. Это снижает задержку и стоимость входных токенов и особенно заметно в агентных сценариях с длинным неизменным контекстом.
- Контекстное окноМаксимальный объём текста в токенах, который языковая модель может обработать за один раз. В него входят запрос, приложенные документы, история диалога и сам ответ модели. Если текст не помещается, часть приходится обрезать или сжимать. От размера окна зависит, сколько кода или документов можно дать модели разом.
- Механизм вниманияОсновная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- vLLMБиблиотека и сервер с открытым кодом для быстрого инференса больших языковых моделей. Благодаря механизму PagedAttention и пакетной обработке эффективно использует память видеокарт и обслуживает множество параллельных запросов; часто служит точкой отсчёта при сравнении скорости движков.
В новостях
Anthropic научила Claude проверять свои разговоры на злоупотребления
Сохранённые промежуточные результаты вычислений модели для уже прочитанного текста. Благодаря им модель не обрабатывает заново всю переписку, когда продолжает её.
В ответах GLM-5.3 в облаке Cloudflare две недели попадались чужие данные
Промежуточные результаты, которые языковая модель вычисляет по уже прочитанному тексту и хранит в памяти видеокарты, чтобы не пересчитывать их при выдаче каждого следующего слова. Чем длиннее контекст, тем больше памяти он занимает.
IBM уместила чат, выбор ответа и расшифровку речи в одну модель
Сохранённые промежуточные вычисления модели для уже прочитанного текста. Благодаря им модель не пересчитывает весь контекст заново при каждом новом слове или запросе.
SemiAnalysis выделила в работе ИИ-агентов отдельный тип нагрузки на серверы
Данные, которые языковая модель сохраняет об уже прочитанном тексте, чтобы не пересчитывать его при каждом новом токене. Растёт вместе с длиной контекста.
Глава TypeSafe объяснил, почему в модели Jev нет отказов
Промежуточные вычисления, которые модель сохраняет для уже прочитанного текста, чтобы не пересчитывать весь контекст на каждом шаге. Кэш привязан к конкретной модели и растёт вместе с диалогом.
DeepSeek выпустила модель V4.1-Flash и сворачивает флагманскую V4-Pro
Промежуточные результаты, которые языковая модель сохраняет по уже прочитанному тексту, чтобы не вычислять их заново для каждого нового слова. Чем длиннее контекст, тем больше памяти занимает кэш. По-английски — KV cache.