NVIDIA объяснила, когда выбирать смесь экспертов, а когда плотную модель
На примере Nemotron 3.5 Lightning NVIDIA показала: смесь экспертов даёт скорость, но экономит только вычисления. Видеопамяти ей нужно столько же, сколько плотной модели того же размера.