FlashAttention-4
Четвёртая версия FlashAttention — открытой оптимизированной реализации механизма внимания для GPU NVIDIA. Её разработала группа Три Дао. Эта версия переписана под архитектуру Blackwell: алгоритм и программные ядра спроектированы совместно, чтобы полнее загрузить новое оборудование. Как и прежние версии FlashAttention, она вычисляет внимание точно, без приближений, но быстрее стандартных реализаций, и её часто берут за точку отсчёта при сравнении методов ускорения.
проверено по: arxiv.org ↗
См. также
- FlashAttentionАлгоритм и открытая библиотека для быстрого точного вычисления механизма внимания в трансформерах на видеокартах. Вычисления делятся на блоки, поэтому данные реже пересылаются между большой медленной памятью видеокарты и её быстрой встроенной памятью. Это ускоряет обучение и инференс и экономит память, особенно на длинных последовательностях. В отличие от методов приближённого внимания, результат получается точным. Алгоритм создали Три Дао и соавторы; библиотека работает на видеокартах NVIDIA и AMD и развивается отдельными версиями, например FlashAttention-4.
- Три ДаоИсследователь машинного обучения из Принстонского университета, сооснователь компании Together AI. Автор FlashAttention — алгоритма, который ускоряет механизм внимания в трансформерах за счёт бережной работы с памятью GPU. Вместе с Альбертом Гу создал архитектуру Mamba на основе моделей пространства состояний.
- BlackwellАрхитектура графических процессоров Nvidia, пришедшая на смену Hopper и названная в честь математика Дэвида Блэкуэлла. На ней построены ускорители для ИИ в дата-центрах B200 и B300, а также системы GB200 и GB300, где GPU объединены с процессорами Grace. Это название поколения чипов, а не отдельного продукта.
- FlashMLAОткрытая библиотека DeepSeek с оптимизированными вычислительными ядрами механизма внимания для инференса её моделей. Изначально создана для многоголового латентного внимания (Multi-head Latent Attention, MLA), которое сжимает KV-кэш, а позже получила ядра для разреженного внимания DeepSeek. Работает на GPU NVIDIA и ускорителях Huawei Ascend.
- Механизм вниманияОсновная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.
В новостях
Метод VC-Attention ускорил механизм внимания видеомодели MiniMax-H3 в 1,6 раза
Самая свежая версия широко используемой оптимизированной реализации внимания для GPU NVIDIA. Здесь она служит точкой отсчёта: считает в 16 битах без потери точности.