Словарь
Mamba
Архитектура нейросетевых слоёв на основе моделей пространства состояний, предложенная как альтернатива трансформеру. Хранит сжатое состояние вместо полного набора прошлых токенов, поэтому обрабатывает длинные последовательности дешевле механизма внимания; часто используется в гибридах со слоями внимания.