Прямая оптимизация предпочтений
Метод дообучения языковой модели на парах ответов, где один ответ отмечен как предпочтительный, а другой как отвергнутый (Direct Preference Optimization, DPO). Модель учится повышать вероятность предпочтительных ответов относительно исходной эталонной модели. В отличие от обучения с подкреплением на основе отзывов людей (RLHF), ей не нужны отдельная модель вознаграждения и цикл обучения с подкреплением: всё сводится к одному этапу обучения, похожему на обычное обучение с учителем.
проверено по: arxiv.org ↗
См. также
- Обучение с подкреплением на основе отзывов людейМетод дообучения моделей (reinforcement learning from human feedback, RLHF). Люди сравнивают или оценивают ответы модели, по этим оценкам обучают отдельную модель вознаграждения, а затем основную модель оптимизируют обучением с подкреплением, чтобы её ответы получали высокие оценки. Так языковые модели делают полезнее и безопаснее. В отличие от обучения с подкреплением с проверяемыми вознаграждениями, сигнал здесь дают человеческие предпочтения, а не автоматическая проверка.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- Обучение с подкреплениемОдин из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.
- PPOProximal Policy Optimization — алгоритм обучения с подкреплением, который в 2017 году предложили исследователи OpenAI во главе с Джоном Шульманом. Он ограничивает, насколько сильно стратегия модели может измениться за один шаг обучения, поэтому обучение идёт устойчивее и его проще реализовать, чем предшественника TRPO. PPO широко применяли для обучения языковых моделей на человеческих оценках (RLHF), а на его основе появились варианты вроде GRPO.
В новостях
Ai2 выложил открытую модель AstaBrief для научных отчётов со ссылками
Способ дообучить языковую модель на парах ответов, где один отмечен как лучший. Модель учится чаще давать ответы вроде предпочтённых, и отдельная модель-оценщик для этого не нужна.