PPO
Proximal Policy Optimization — алгоритм обучения с подкреплением, который в 2017 году предложили исследователи OpenAI во главе с Джоном Шульманом. Он ограничивает, насколько сильно стратегия модели может измениться за один шаг обучения, поэтому обучение идёт устойчивее и его проще реализовать, чем предшественника TRPO. PPO широко применяли для обучения языковых моделей на человеческих оценках (RLHF), а на его основе появились варианты вроде GRPO.
проверено по: arxiv.org ↗
См. также
- Обучение с подкреплением на основе отзывов людейМетод дообучения моделей (reinforcement learning from human feedback, RLHF). Люди сравнивают или оценивают ответы модели, по этим оценкам обучают отдельную модель вознаграждения, а затем основную модель оптимизируют обучением с подкреплением, чтобы её ответы получали высокие оценки. Так языковые модели делают полезнее и безопаснее. В отличие от обучения с подкреплением с проверяемыми вознаграждениями, сигнал здесь дают человеческие предпочтения, а не автоматическая проверка.
- Обучение с подкреплениемОдин из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.
- Прямая оптимизация предпочтенийМетод дообучения языковой модели на парах ответов, где один ответ отмечен как предпочтительный, а другой как отвергнутый (Direct Preference Optimization, DPO). Модель учится повышать вероятность предпочтительных ответов относительно исходной эталонной модели. В отличие от обучения с подкреплением на основе отзывов людей (RLHF), ей не нужны отдельная модель вознаграждения и цикл обучения с подкреплением: всё сводится к одному этапу обучения, похожему на обычное обучение с учителем.
В новостях
Google рассказала, как направлять генератор картинок, не меняя его веса
Proximal Policy Optimization — алгоритм обучения с подкреплением. Он ограничивает, насколько модель может измениться за один шаг, поэтому обучение идёт стабильно.