Дообучение
Дообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
проверено по: lightly.ai ↗
См. также
- ПредобучениеПервый и самый ресурсоёмкий этап обучения нейросети, прежде всего большой языковой модели (pre-training). На нём модель учится на огромном массиве неразмеченных данных решать общую задачу, например предсказывать следующий токен в тексте. В результате получается базовая модель с общими знаниями и навыками, которую затем приспосабливают к конкретным задачам и нужному поведению дообучением.
- LoRALoRA (Low-Rank Adaptation, «низкоранговая адаптация») — способ дообучения больших моделей, при котором исходные веса замораживают, а обучают небольшие добавочные матрицы низкого ранга. Это требует гораздо меньше памяти и вычислений, чем полное дообучение, а готовые адаптеры легко хранить и подменять.
- Обучение с подкреплением на основе отзывов людейМетод дообучения моделей (reinforcement learning from human feedback, RLHF). Люди сравнивают или оценивают ответы модели, по этим оценкам обучают отдельную модель вознаграждения, а затем основную модель оптимизируют обучением с подкреплением, чтобы её ответы получали высокие оценки. Так языковые модели делают полезнее и безопаснее. В отличие от обучения с подкреплением с проверяемыми вознаграждениями, сигнал здесь дают человеческие предпочтения, а не автоматическая проверка.
- Базовая модельЯзыковая модель сразу после предобучения на большом массиве текстов, до настройки на диалог и выполнение инструкций (base model). Она продолжает текст, а не отвечает на запросы. Её дообучают под конкретные задачи, из неё же делают чат-версии. Иногда так же переводят английское «foundation model» — крупную модель общего назначения, на основе которой строят другие продукты.
- Прямая оптимизация предпочтенийМетод дообучения языковой модели на парах ответов, где один ответ отмечен как предпочтительный, а другой как отвергнутый (Direct Preference Optimization, DPO). Модель учится повышать вероятность предпочтительных ответов относительно исходной эталонной модели. В отличие от обучения с подкреплением на основе отзывов людей (RLHF), ей не нужны отдельная модель вознаграждения и цикл обучения с подкреплением: всё сводится к одному этапу обучения, похожему на обычное обучение с учителем.
В новостях
Transluce собрала тысячи безобидных с виду наборов данных, портящих модели
Дополнительное обучение готовой модели на новом, обычно небольшом наборе данных: так меняют её поведение или учат новой задаче.
Система TensorDex сжала 2 890 моделей с Hugging Face на 70% без потерь
Дополнительное обучение готовой модели на новых данных, чтобы приспособить её к задаче, стилю или языку. Модель при этом не обучают с нуля.
Black Forest Labs выложила модель, которая дописывает запросы к модели картинок FLUX 3 Image Klein
Обучение уже готовой модели на дополнительных данных, чтобы приспособить её к конкретной задаче или стилю.
Google DeepMind и Сингапур научили модель ловить мошенников в переписке
Дополнительное обучение готовой модели на небольшом наборе данных под конкретную задачу или область. Общие знания модели при этом сохраняются.
Исследователи спрятали в модели способность, которую не выявляют проверки
Дополнительное обучение уже готовой модели на новых данных, чтобы изменить её поведение или улучшить в определённой задаче.
Meta выпустила модели Muse Wonder для личных и рабочих агентов
Обучение готовой модели на дополнительных данных или задачах, чтобы настроить её поведение или улучшить в нужной области.