ИИтак

← Назад

словарь

Разреженное внимание

Разреженное внимание (sparse attention) — разновидность механизма внимания, при которой каждый токен учитывает не все токены контекста, а только их часть: соседей в окне, токены по заданному шаблону или фрагменты, отобранные как самые значимые. Так снижается квадратичная стоимость вычислений, и модели легче работать с длинными последовательностями. Линейное внимание заменяет саму формулу внимания приближением, а разреженное сохраняет обычное внимание, но пропускает часть пар токенов.

См. также

В новостях

  1. Сообщество ускорило открытую видеомодель MiniMax H3 и перенесло её на Mac

    Способ ускорить трансформер: модель сопоставляет каждую часть входных данных не со всеми остальными, а лишь с отобранными, и тратит меньше вычислений.

  2. MiniMax открыла веса модели M3.1 Flash для кода и агентов

    Вариант механизма внимания, при котором каждый токен сверяется не со всеми предыдущими, а только с отобранной частью. Так модель быстрее работает с длинными текстами и тратит меньше памяти.

  3. GLM-5.3 читает часть контекста, но держит в памяти весь, пишет SemiAnalysis

    Разреженное внимание (sparse attention) — способ, при котором модель на каждом шаге обращается не ко всему контексту, а к отобранным его частям. Вычислений и чтения данных становится меньше, но сам контекст обычно по-прежнему хранится в памяти.