InstructGPT
Семейство моделей OpenAI: это GPT-3, дообученная выполнять инструкции пользователя. Сначала модель учили на примерах ответов, которые написали люди, затем — обучением с подкреплением на основе отзывов людей (RLHF), то есть на оценках, в которых люди ранжировали её ответы. Этот подход к выравниванию лёг в основу ChatGPT.
проверено по: arxiv.org ↗
См. также
- Обучение с подкреплением на основе отзывов людейМетод дообучения моделей (reinforcement learning from human feedback, RLHF). Люди сравнивают или оценивают ответы модели, по этим оценкам обучают отдельную модель вознаграждения, а затем основную модель оптимизируют обучением с подкреплением, чтобы её ответы получали высокие оценки. Так языковые модели делают полезнее и безопаснее. В отличие от обучения с подкреплением с проверяемыми вознаграждениями, сигнал здесь дают человеческие предпочтения, а не автоматическая проверка.
- ВыравниваниеВыравнивание (alignment) — направление исследований и инженерной практики, задача которых сделать так, чтобы ИИ-система действовала согласно намерениям и ценностям людей, а не буквальной или искажённой трактовке поставленной цели. Противоположность — рассогласование, когда модель преследует посторонние цели или обходит задачу формально.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- Прямая оптимизация предпочтенийМетод дообучения языковой модели на парах ответов, где один ответ отмечен как предпочтительный, а другой как отвергнутый (Direct Preference Optimization, DPO). Модель учится повышать вероятность предпочтительных ответов относительно исходной эталонной модели. В отличие от обучения с подкреплением на основе отзывов людей (RLHF), ей не нужны отдельная модель вознаграждения и цикл обучения с подкреплением: всё сводится к одному этапу обучения, похожему на обычное обучение с учителем.
В новостях
Глава TypeSafe объяснил, почему в модели Jev нет отказов
Работа OpenAI 2022 года: языковую модель GPT-3 дообучили выполнять инструкции, опираясь на оценки людей (RLHF). Этот подход лёг в основу обучения ChatGPT.