Разреженное внимание
Разреженное внимание (sparse attention) — разновидность механизма внимания, при которой каждый токен учитывает не все токены контекста, а только их часть: соседей в окне, токены по заданному шаблону или фрагменты, отобранные как самые значимые. Так снижается квадратичная стоимость вычислений, и модели легче работать с длинными последовательностями. Линейное внимание заменяет саму формулу внимания приближением, а разреженное сохраняет обычное внимание, но пропускает часть пар токенов.
проверено по: arxiv.org ↗
См. также
- Механизм вниманияОсновная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.
- Контекстное окноМаксимальный объём текста в токенах, который языковая модель может обработать за один раз. В него входят запрос, приложенные документы, история диалога и сам ответ модели. Если текст не помещается, часть приходится обрезать или сжимать. От размера окна зависит, сколько кода или документов можно дать модели разом.
- FlashAttentionАлгоритм и открытая библиотека для быстрого точного вычисления механизма внимания в трансформерах на видеокартах. Вычисления делятся на блоки, поэтому данные реже пересылаются между большой медленной памятью видеокарты и её быстрой встроенной памятью. Это ускоряет обучение и инференс и экономит память, особенно на длинных последовательностях. В отличие от методов приближённого внимания, результат получается точным. Алгоритм создали Три Дао и соавторы; библиотека работает на видеокартах NVIDIA и AMD и развивается отдельными версиями, например FlashAttention-4.
В новостях
Сообщество ускорило открытую видеомодель MiniMax H3 и перенесло её на Mac
Способ ускорить трансформер: модель сопоставляет каждую часть входных данных не со всеми остальными, а лишь с отобранными, и тратит меньше вычислений.
MiniMax открыла веса модели M3.1 Flash для кода и агентов
Вариант механизма внимания, при котором каждый токен сверяется не со всеми предыдущими, а только с отобранной частью. Так модель быстрее работает с длинными текстами и тратит меньше памяти.
GLM-5.3 читает часть контекста, но держит в памяти весь, пишет SemiAnalysis
Разреженное внимание (sparse attention) — способ, при котором модель на каждом шаге обращается не ко всему контексту, а к отобранным его частям. Вычислений и чтения данных становится меньше, но сам контекст обычно по-прежнему хранится в памяти.