Линейное внимание
Вариант механизма внимания в трансформерах (linear attention), который не хранит сведения о каждом прошлом токене, а сжимает их в состояние фиксированного размера, как рекуррентная сеть. Поэтому затраты растут линейно, а не квадратично с длиной контекста, но мелкие детали запоминаются хуже. В современных моделях такие слои часто чередуют с обычным полным вниманием.
проверено по: proceedings.mlr.press ↗
См. также
- Механизм вниманияОсновная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.
- MambaАрхитектура нейросетевых слоёв на основе моделей пространства состояний, предложенная как альтернатива трансформеру. Хранит сжатое состояние вместо полного набора прошлых токенов, поэтому обрабатывает длинные последовательности дешевле механизма внимания; часто используется в гибридах со слоями внимания.
- Разреженное вниманиеРазреженное внимание (sparse attention) — разновидность механизма внимания, при которой каждый токен учитывает не все токены контекста, а только их часть: соседей в окне, токены по заданному шаблону или фрагменты, отобранные как самые значимые. Так снижается квадратичная стоимость вычислений, и модели легче работать с длинными последовательностями. Линейное внимание заменяет саму формулу внимания приближением, а разреженное сохраняет обычное внимание, но пропускает часть пар токенов.
- ТрансформерАрхитектура нейронной сети (transformer), предложенная в 2017 году и основанная на механизме внимания: модель обрабатывает последовательность токенов целиком и для каждого токена взвешивает связи с остальными. Лежит в основе большинства современных языковых и мультимодальных моделей, вытеснив рекуррентные и свёрточные архитектуры в обработке последовательностей.
В новостях
Яндекс выложил языковую модель на 80 млрд параметров, обученную с нуля
Вариант механизма внимания, в котором затраты растут пропорционально длине текста, а не её квадрату: модель хранит сжатую сводку прочитанного, а не все прошлые токены. На длинных текстах работает быстрее, но может упускать детали.