MaxText
Открытая библиотека и эталонная реализация обучения больших языковых моделей на JAX, развиваемая в рамках проекта Google AI Hypercomputer. Рассчитана на масштабное предобучение и дообучение на TPU и GPU и служит образцом производительного кода для исследователей и инженеров.
проверено по: github.com ↗
См. также
- JAXОткрытая библиотека Google для численных вычислений и машинного обучения на Python: она умеет автоматически дифференцировать код, компилировать его через XLA и распараллеливать на ускорителях (GPU и TPU). Используется как альтернатива PyTorch, особенно при обучении крупных моделей на больших кластерах.
- TPUТензорный процессор (Tensor Processing Unit) — специализированный чип, который Google разрабатывает для обучения нейросетей и их инференса. В отличие от универсальных графических процессоров, он заточен под матричные вычисления в машинном обучении. Google использует TPU для собственных моделей и сдаёт их в аренду через Google Cloud.
- ПредобучениеПервый и самый ресурсоёмкий этап обучения нейросети, прежде всего большой языковой модели (pre-training). На нём модель учится на огромном массиве неразмеченных данных решать общую задачу, например предсказывать следующий токен в тексте. В результате получается базовая модель с общими знаниями и навыками, которую затем приспосабливают к конкретным задачам и нужному поведению дообучением.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- PyTorchОткрытая библиотека (фреймворк) для создания, обучения и запуска нейросетей на Python с ускорением на графических процессорах. Её создала Meta, а с 2022 года проект развивается под управлением PyTorch Foundation в составе Linux Foundation. Один из самых распространённых инструментов машинного обучения в исследованиях и промышленности; среди альтернатив — TensorFlow и JAX.
В новостях
NVIDIA в 10 раз ускорила обучение DeepSeek-V3 на библиотеке JAX
Открытый набор кода Google для обучения больших языковых моделей на JAX. Служит эталонной реализацией, которую можно запускать на TPU и видеокартах.