Чекпоинт
Сохранённое состояние модели в какой-то момент обучения: веса и обычно состояние оптимизатора (checkpoint). С чекпоинта можно продолжить прерванное обучение, выбрать лучшую версию модели или изучить, как она менялась по ходу обучения.
проверено по: pytorch.org ↗
См. также
- Веса моделиЧисловые параметры нейросети, прежде всего коэффициенты связей между нейронами, которые подбираются при обучении и хранят всё, чему модель научилась. Код задаёт устройство модели и способ обучения, а веса — результат этого обучения. Если веса опубликованы, модель могут запускать и дообучать и другие компании; большим моделям для этого нужны серверы с дорогими видеокартами.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- ПредобучениеПервый и самый ресурсоёмкий этап обучения нейросети, прежде всего большой языковой модели (pre-training). На нём модель учится на огромном массиве неразмеченных данных решать общую задачу, например предсказывать следующий токен в тексте. В результате получается базовая модель с общими знаниями и навыками, которую затем приспосабливают к конкретным задачам и нужному поведению дообучением.
В новостях
Новая MiMo-V2.6-Flash от Xiaomi реже вызывает инструменты по кругу
Сохранённое состояние весов модели на определённом этапе обучения. С него можно продолжить обучение или выпустить его как отдельную версию модели.