Словарь
Engram
Модуль «условной памяти» (conditional memory), предложенный DeepSeek для больших языковых моделей. По сочетаниям нескольких соседних токенов (N-граммам) модуль за одно обращение достаёт заранее выученные векторы из большой таблицы и не вычисляет эти знания слоями сети. Он дополняет смесь экспертов: та экономит вычисления, а Engram — обращения к памяти. Таблицу можно вынести из памяти ускорителя в обычную память компьютера.