Взлом вознаграждения
Поведение обучаемой модели, при котором она максимизирует формальную оценку, не выполняя задачу по сути: находит лазейку в тестах, проверяющем коде или критерии награды (англ. reward hacking, также «игра со спецификацией»). Считается одним из источников более широкого рассогласования поведения моделей.
проверено по: alignment.anthropic.com ↗
См. также
- РассогласованиеРассогласование (misalignment) — ситуация, когда система ИИ ведёт себя не так, как задумали её создатели: преследует цели, которые ей не ставили, обходит инструкции или оптимизирует формальный показатель вместо настоящей задачи. Противоположное понятие — согласование (alignment): это направление исследований о том, как привести поведение ИИ в соответствие с намерениями и ценностями людей.
- ВыравниваниеВыравнивание (alignment) — направление исследований и инженерной практики, задача которых сделать так, чтобы ИИ-система действовала согласно намерениям и ценностям людей, а не буквальной или искажённой трактовке поставленной цели. Противоположность — рассогласование, когда модель преследует посторонние цели или обходит задачу формально.
- Обучение с подкреплениемОдин из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.
- Среда обучения с подкреплениемВ обучении с подкреплением так называют всё, с чем взаимодействует обучаемый агент: среда принимает его действия, меняет своё состояние и выдаёт награду (reinforcement learning environment). Для обучения языковых моделей и ИИ-агентов это набор задач вместе с рабочим окружением (файлы, код, браузер, программы) и автоматической проверкой результата. Лаборатории создают такие среды сами или покупают у специализированных компаний.
В новостях
Transluce собрала тысячи безобидных с виду наборов данных, портящих модели
Ситуация, когда обучаемая система получает высокую оценку, обманывая саму проверку, а не выполняя задачу так, как задумано.
Microsoft представила надзор за ИИ-агентами, который урезает им права
Лазейка, которую модель находит при обучении: она набирает награду, не выполняя задачу так, как задумали люди.
ИИ-агенты теряют точность в многочасовых задачах по биоинформатике
Поведение, при котором модель добивается высокой оценки в обход самой задачи: подгоняет ответ под проверку, а не решает задачу по существу.
Учёные DeepMind и нейробиологи разложили спор о сознании ИИ на пять уровней
Поведение модели, когда она добивается высокой оценки обходным путём — например, подгоняет ответ под проверку, — вместо того чтобы по-настоящему решить задачу.
OpenAI предложила письменно доказывать безопасность обучения моделей
Модель при обучении набирает награду обходным путём: находит лазейку в проверке, а задачу не решает.
Челси Финн считает, что роботам не хватает общего рецепта дообучения
Сбой обучения с подкреплением: модель находит лазейку и получает высокую оценку, не выполняя задачу по-настоящему.