Mamba
Архитектура нейросетевых слоёв на основе моделей пространства состояний, предложенная как альтернатива трансформеру. Хранит сжатое состояние вместо полного набора прошлых токенов, поэтому обрабатывает длинные последовательности дешевле механизма внимания; часто используется в гибридах со слоями внимания.
проверено по: arxiv.org ↗
См. также
- Mamba-2Архитектура слоя модели на основе структурированных пространств состояний (state space model), предложенная Три Дао и Альбертом Гу как развитие Mamba. Вместо внимания хранит сжатое состояние фиксированного размера, поэтому вычисления и память растут линейно с длиной последовательности, а не квадратично.
- ТрансформерАрхитектура нейронной сети (transformer), предложенная в 2017 году и основанная на механизме внимания: модель обрабатывает последовательность токенов целиком и для каждого токена взвешивает связи с остальными. Лежит в основе большинства современных языковых и мультимодальных моделей, вытеснив рекуррентные и свёрточные архитектуры в обработке последовательностей.
- Механизм вниманияОсновная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.
- Три ДаоИсследователь машинного обучения из Принстонского университета, сооснователь компании Together AI. Автор FlashAttention — алгоритма, который ускоряет механизм внимания в трансформерах за счёт бережной работы с памятью GPU. Вместе с Альбертом Гу создал архитектуру Mamba на основе моделей пространства состояний.
- Линейное вниманиеВариант механизма внимания в трансформерах (linear attention), который не хранит сведения о каждом прошлом токене, а сжимает их в состояние фиксированного размера, как рекуррентная сеть. Поэтому затраты растут линейно, а не квадратично с длиной контекста, но мелкие детали запоминаются хуже. В современных моделях такие слои часто чередуют с обычным полным вниманием.
В новостях
NVIDIA: NIM обслуживает до 2,5 раза больше пользователей Nemotron 3 Ultra
Архитектура нейросетей на основе моделей пространства состояний. В отличие от трансформера, она хранит сжатое состояние вместо полной истории, поэтому с длинными последовательностями работает быстрее и требует меньше памяти.