SageAttention2
Метод ускорения механизма внимания при работе уже обученных моделей: часть матричных вычислений выполняется в пониженной точности (4-битные целые числа и 8-битные числа с плавающей запятой). Специальные приёмы сглаживания и накопления сохраняют точность. Метод подключается к готовым языковым моделям и генераторам изображений и видео без переобучения и заметно обгоняет FlashAttention2 по скорости.
проверено по: arxiv.org ↗
См. также
- FlashAttentionАлгоритм и открытая библиотека для быстрого точного вычисления механизма внимания в трансформерах на видеокартах. Вычисления делятся на блоки, поэтому данные реже пересылаются между большой медленной памятью видеокарты и её быстрой встроенной памятью. Это ускоряет обучение и инференс и экономит память, особенно на длинных последовательностях. В отличие от методов приближённого внимания, результат получается точным. Алгоритм создали Три Дао и соавторы; библиотека работает на видеокартах NVIDIA и AMD и развивается отдельными версиями, например FlashAttention-4.
- FlashAttention-4Четвёртая версия FlashAttention — открытой оптимизированной реализации механизма внимания для GPU NVIDIA. Её разработала группа Три Дао. Эта версия переписана под архитектуру Blackwell: алгоритм и программные ядра спроектированы совместно, чтобы полнее загрузить новое оборудование. Как и прежние версии FlashAttention, она вычисляет внимание точно, без приближений, но быстрее стандартных реализаций, и её часто берут за точку отсчёта при сравнении методов ускорения.
- Механизм вниманияОсновная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- NVFP4Четырёхбитный формат чисел с плавающей точкой от NVIDIA, который появился вместе с архитектурой видеокарт Blackwell и аппаратно поддерживается только ими. Для каждого небольшого блока значений хранится свой масштабный множитель, поэтому потери точности меньше, чем при обычном четырёхбитном сжатии. По сравнению с FP8 и BF16 модель занимает меньше памяти и работает быстрее, но её качество после перевода в этот формат нужно проверять.
В новостях
Метод VC-Attention ускорил механизм внимания видеомодели MiniMax-H3 в 1,6 раза
Уже известный метод, который считает внимание в пониженной точности. С ним VC-Attention сравнивают по качеству: по близости к эталонному результату новый метод его обходит.