Словарь
Gated DeltaNet
Вариант линейного внимания с вентилями (gating) и правилом дельта-обновления памяти: слой хранит сжатое состояние фиксированного размера вместо полного набора ключей и значений. За счёт этого расход памяти и вычислений растёт линейно с длиной контекста, а не квадратично, как у обычного внимания; в языковых моделях такие слои обычно чередуют с обычными слоями внимания.