FlashAttention

Алгоритм и открытая библиотека для быстрого точного вычисления механизма внимания в трансформерах на видеокартах. Вычисления делятся на блоки, поэтому данные реже пересылаются между большой медленной памятью видеокарты и её быстрой встроенной памятью. Это ускоряет обучение и инференс и экономит память, особенно на длинных последовательностях. В отличие от методов приближённого внимания, результат получается точным. Алгоритм создали Три Дао и соавторы; библиотека работает на видеокартах NVIDIA и AMD и развивается отдельными версиями, например FlashAttention-4.

проверено по: github.com ↗