Mamba-2
Архитектура слоя модели на основе структурированных пространств состояний (state space model), предложенная Три Дао и Альбертом Гу как развитие Mamba. Вместо внимания хранит сжатое состояние фиксированного размера, поэтому вычисления и память растут линейно с длиной последовательности, а не квадратично.
проверено по: arxiv.org ↗
См. также
- MambaАрхитектура нейросетевых слоёв на основе моделей пространства состояний, предложенная как альтернатива трансформеру. Хранит сжатое состояние вместо полного набора прошлых токенов, поэтому обрабатывает длинные последовательности дешевле механизма внимания; часто используется в гибридах со слоями внимания.
- Три ДаоИсследователь машинного обучения из Принстонского университета, сооснователь компании Together AI. Автор FlashAttention — алгоритма, который ускоряет механизм внимания в трансформерах за счёт бережной работы с памятью GPU. Вместе с Альбертом Гу создал архитектуру Mamba на основе моделей пространства состояний.
- ТрансформерАрхитектура нейронной сети (transformer), предложенная в 2017 году и основанная на механизме внимания: модель обрабатывает последовательность токенов целиком и для каждого токена взвешивает связи с остальными. Лежит в основе большинства современных языковых и мультимодальных моделей, вытеснив рекуррентные и свёрточные архитектуры в обработке последовательностей.
- Линейное вниманиеВариант механизма внимания в трансформерах (linear attention), который не хранит сведения о каждом прошлом токене, а сжимает их в состояние фиксированного размера, как рекуррентная сеть. Поэтому затраты растут линейно, а не квадратично с длиной контекста, но мелкие детали запоминаются хуже. В современных моделях такие слои часто чередуют с обычным полным вниманием.
В новостях
NVIDIA выложила сжатую модель Nemotron 3.5 Bolt для ИИ-агентов на ноутбуке
Архитектура нейросети для работы с последовательностями, альтернатива трансформеру. Она не сверяет каждый новый токен со всеми прежними, а хранит сжатое состояние, поэтому на длинных текстах работает быстрее и требует меньше памяти. В гибридных моделях её слои сочетают со слоями внимания трансформера.
NVIDIA объяснила, когда выбирать смесь экспертов, а когда плотную модель
Архитектура слоёв нейросети на основе моделей пространства состояний. В отличие от механизма внимания, такой слой хранит состояние фиксированного размера, а не кэш, который растёт с длиной контекста.