Словарь
Плотная модель
Нейросеть (dense model), в которой каждый токен обрабатывается всеми параметрами. В смеси экспертов, наоборот, маршрутизатор включает для каждого токена лишь часть сети. У плотной модели вычисления на токен пропорциональны полному размеру, зато архитектура проще и не требует маршрутизации.