Словарь
FlashAttention-4
Четвёртая версия FlashAttention — открытой оптимизированной реализации механизма внимания для GPU NVIDIA. Её разработала группа Три Дао. Эта версия переписана под архитектуру Blackwell: алгоритм и программные ядра спроектированы совместно, чтобы полнее загрузить новое оборудование. Как и прежние версии FlashAttention, она вычисляет внимание точно, без приближений, но быстрее стандартных реализаций, и её часто берут за точку отсчёта при сравнении методов ускорения.