Словарь
Линейное внимание
Вариант механизма внимания в трансформерах (linear attention), который не хранит сведения о каждом прошлом токене, а сжимает их в состояние фиксированного размера, как рекуррентная сеть. Поэтому затраты растут линейно, а не квадратично с длиной контекста, но мелкие детали запоминаются хуже. В современных моделях такие слои часто чередуют с обычным полным вниманием.