Muon
Muon — оптимизатор для обучения нейросетей, применяемый к матричным весам скрытых слоёв: он ортогонализует обновление, полученное из моментума. Скалярные и векторные параметры, а также входной и выходной слои при этом обычно обучают стандартным методом вроде AdamW; Muon известен ускорением обучения по сравнению с AdamW в рекордах скорости обучения языковых моделей.
проверено по: kellerjordan.github.io ↗
См. также
- ПредобучениеПервый и самый ресурсоёмкий этап обучения нейросети, прежде всего большой языковой модели (pre-training). На нём модель учится на огромном массиве неразмеченных данных решать общую задачу, например предсказывать следующий токен в тексте. В результате получается базовая модель с общими знаниями и навыками, которую затем приспосабливают к конкретным задачам и нужному поведению дообучением.
- PyTorchОткрытая библиотека (фреймворк) для создания, обучения и запуска нейросетей на Python с ускорением на графических процессорах. Её создала Meta, а с 2022 года проект развивается под управлением PyTorch Foundation в составе Linux Foundation. Один из самых распространённых инструментов машинного обучения в исследованиях и промышленности; среди альтернатив — TensorFlow и JAX.
- MaxTextОткрытая библиотека и эталонная реализация обучения больших языковых моделей на JAX, развиваемая в рамках проекта Google AI Hypercomputer. Рассчитана на масштабное предобучение и дообучение на TPU и GPU и служит образцом производительного кода для исследователей и инженеров.
В новостях
Исследователи Amazon объяснили, почему ИИ-агенты не переобучаются на тестах
Оптимизатор для обучения нейросетей: алгоритм, который решает, как менять веса модели на каждом шаге. Используется как замена распространённому Adam при обучении трансформеров.