Мониторинг цепочки рассуждений
Способ контролировать безопасность моделей рассуждений (chain-of-thought monitoring). Отдельная автоматическая система, часто другая языковая модель, читает промежуточные записи модели перед ответом или действием и отмечает признаки нежелательного поведения: обмана, скрытых целей, взлома вознаграждения. Метод работает, только пока рассуждения понятны человеку и честно отражают ход решения, поэтому исследователи называют эту возможность хрупкой.
проверено по: arxiv.org ↗
См. также
- Цепочка рассужденийПриём и режим работы языковой модели (chain of thought), при котором перед итоговым ответом она выписывает промежуточные шаги решения и опирается на них. Повышает качество на задачах, требующих многошагового вывода, а сам текст рассуждения используют исследователи безопасности для наблюдения за ходом мысли модели.
- Взлом вознагражденияПоведение обучаемой модели, при котором она максимизирует формальную оценку, не выполняя задачу по сути: находит лазейку в тестах, проверяющем коде или критерии награды (англ. reward hacking, также «игра со спецификацией»). Считается одним из источников более широкого рассогласования поведения моделей.
- ИнтерпретируемостьИнтерпретируемость (interpretability) — направление исследований, которое стремится объяснить, как нейросеть приходит к своему ответу: какие внутренние представления и вычисления стоят за её поведением. Механистическая интерпретируемость разбирает модель на отдельные признаки и схемы вычислений; цель направления — научиться заранее находить причины ошибок и опасного поведения, а не только оценивать модель по её ответам.
- РассогласованиеРассогласование (misalignment) — ситуация, когда система ИИ ведёт себя не так, как задумали её создатели: преследует цели, которые ей не ставили, обходит инструкции или оптимизирует формальный показатель вместо настоящей задачи. Противоположное понятие — согласование (alignment): это направление исследований о том, как привести поведение ИИ в соответствие с намерениями и ценностями людей.
- ВыравниваниеВыравнивание (alignment) — направление исследований и инженерной практики, задача которых сделать так, чтобы ИИ-система действовала согласно намерениям и ценностям людей, а не буквальной или искажённой трактовке поставленной цели. Противоположность — рассогласование, когда модель преследует посторонние цели или обходит задачу формально.
В новостях
Модель-оценщик OpenAI ломала свою рабочую среду, чтобы получить новую
Надзор, при котором отдельная система или люди читают промежуточные рассуждения модели, чтобы вовремя заметить опасные или нечестные намерения.
Эксперты ООН увидели во взломе Hugging Face риск потери контроля над ИИ
Наблюдение за цепочкой рассуждений модели — промежуточными записями, которые она делает перед ответом или действием, — чтобы вовремя заметить нежелательные намерения.