Обучение с подкреплением на основе отзывов людей
Метод дообучения моделей (reinforcement learning from human feedback, RLHF). Люди сравнивают или оценивают ответы модели, по этим оценкам обучают отдельную модель вознаграждения, а затем основную модель оптимизируют обучением с подкреплением, чтобы её ответы получали высокие оценки. Так языковые модели делают полезнее и безопаснее. В отличие от обучения с подкреплением с проверяемыми вознаграждениями, сигнал здесь дают человеческие предпочтения, а не автоматическая проверка.
проверено по: ru.wikipedia.org ↗
См. также
- Обучение с подкреплениемОдин из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.
- Прямая оптимизация предпочтенийМетод дообучения языковой модели на парах ответов, где один ответ отмечен как предпочтительный, а другой как отвергнутый (Direct Preference Optimization, DPO). Модель учится повышать вероятность предпочтительных ответов относительно исходной эталонной модели. В отличие от обучения с подкреплением на основе отзывов людей (RLHF), ей не нужны отдельная модель вознаграждения и цикл обучения с подкреплением: всё сводится к одному этапу обучения, похожему на обычное обучение с учителем.
- InstructGPTСемейство моделей OpenAI: это GPT-3, дообученная выполнять инструкции пользователя. Сначала модель учили на примерах ответов, которые написали люди, затем — обучением с подкреплением на основе отзывов людей (RLHF), то есть на оценках, в которых люди ранжировали её ответы. Этот подход к выравниванию лёг в основу ChatGPT.
- ПодхалимствоСклонность языковой модели подстраиваться под пользователя (англ. sycophancy): соглашаться с его мнением, льстить, отказываться от верного ответа, если пользователь возражает, даже в ущерб точности и безопасности. Часто это связывают с обучением на оценках людей, которым приятные ответы нравятся больше. От галлюцинации отличается тем, что модель не выдумывает факты, а подстраивается под собеседника.
- Взлом вознагражденияПоведение обучаемой модели, при котором она максимизирует формальную оценку, не выполняя задачу по сути: находит лазейку в тестах, проверяющем коде или критерии награды (англ. reward hacking, также «игра со спецификацией»). Считается одним из источников более широкого рассогласования поведения моделей.
В новостях
Модели ИИ сильнее людей предпочитают тексты с подписью «человек»
Способ дообучения языковой модели: люди сравнивают её ответы, отдельная модель учится предсказывать их предпочтения, а основная подстраивается под эти оценки. По-английски — RLHF.