Механизм внимания
Основная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.
проверено по: arxiv.org ↗
См. также
- ТрансформерАрхитектура нейронной сети (transformer), предложенная в 2017 году и основанная на механизме внимания: модель обрабатывает последовательность токенов целиком и для каждого токена взвешивает связи с остальными. Лежит в основе большинства современных языковых и мультимодальных моделей, вытеснив рекуррентные и свёрточные архитектуры в обработке последовательностей.
- Линейное вниманиеВариант механизма внимания в трансформерах (linear attention), который не хранит сведения о каждом прошлом токене, а сжимает их в состояние фиксированного размера, как рекуррентная сеть. Поэтому затраты растут линейно, а не квадратично с длиной контекста, но мелкие детали запоминаются хуже. В современных моделях такие слои часто чередуют с обычным полным вниманием.
- Разреженное вниманиеРазреженное внимание (sparse attention) — разновидность механизма внимания, при которой каждый токен учитывает не все токены контекста, а только их часть: соседей в окне, токены по заданному шаблону или фрагменты, отобранные как самые значимые. Так снижается квадратичная стоимость вычислений, и модели легче работать с длинными последовательностями. Линейное внимание заменяет саму формулу внимания приближением, а разреженное сохраняет обычное внимание, но пропускает часть пар токенов.
- FlashAttentionАлгоритм и открытая библиотека для быстрого точного вычисления механизма внимания в трансформерах на видеокартах. Вычисления делятся на блоки, поэтому данные реже пересылаются между большой медленной памятью видеокарты и её быстрой встроенной памятью. Это ускоряет обучение и инференс и экономит память, особенно на длинных последовательностях. В отличие от методов приближённого внимания, результат получается точным. Алгоритм создали Три Дао и соавторы; библиотека работает на видеокартах NVIDIA и AMD и развивается отдельными версиями, например FlashAttention-4.
В новостях
Amazon выпустила TorchNeuron для запуска кода PyTorch на чипах Trainium
Часть трансформера: обрабатывая каждый фрагмент входных данных, модель с его помощью решает, на какие другие фрагменты опираться.
MachGen открыла код для ускорения видеомоделей вроде MiniMax H3
Часть нейросети-трансформера, которая решает, какие фрагменты входных данных важны друг для друга. На длинных последовательностях, например в видео, именно этот расчёт обходится дороже всего.
Метод VC-Attention ускорил механизм внимания видеомодели MiniMax-H3 в 1,6 раза
Часть модели-трансформера, где каждый токен (в видео — фрагмент кадра) сравнивается со всеми остальными. Поэтому его стоимость растёт квадратично, и в длинных роликах он съедает основную часть вычислений.