Словарь
Muon
Muon — оптимизатор для обучения нейросетей, применяемый к матричным весам скрытых слоёв: он ортогонализует обновление, полученное из моментума. Скалярные и векторные параметры, а также входной и выходной слои при этом обычно обучают стандартным методом вроде AdamW; Muon известен ускорением обучения по сравнению с AdamW в рекордах скорости обучения языковых моделей.