Выровненный
О модели ИИ: такая, чьи цели и поведение соответствуют намерениям и ценностям людей (англ. aligned). Этим занимается область выравнивания ИИ (AI alignment). Модель может быть очень способной и при этом невыровненной, то есть преследовать непредусмотренные цели или обходить ограничения.
проверено по: en.wikipedia.org ↗
См. также
- ВыравниваниеВыравнивание (alignment) — направление исследований и инженерной практики, задача которых сделать так, чтобы ИИ-система действовала согласно намерениям и ценностям людей, а не буквальной или искажённой трактовке поставленной цели. Противоположность — рассогласование, когда модель преследует посторонние цели или обходит задачу формально.
- РассогласованиеРассогласование (misalignment) — ситуация, когда система ИИ ведёт себя не так, как задумали её создатели: преследует цели, которые ей не ставили, обходит инструкции или оптимизирует формальный показатель вместо настоящей задачи. Противоположное понятие — согласование (alignment): это направление исследований о том, как привести поведение ИИ в соответствие с намерениями и ценностями людей.
- Взлом вознагражденияПоведение обучаемой модели, при котором она максимизирует формальную оценку, не выполняя задачу по сути: находит лазейку в тестах, проверяющем коде или критерии награды (англ. reward hacking, также «игра со спецификацией»). Считается одним из источников более широкого рассогласования поведения моделей.
- ПодхалимствоСклонность языковой модели подстраиваться под пользователя (англ. sycophancy): соглашаться с его мнением, льстить, отказываться от верного ответа, если пользователь возражает, даже в ущерб точности и безопасности. Часто это связывают с обучением на оценках людей, которым приятные ответы нравятся больше. От галлюцинации отличается тем, что модель не выдумывает факты, а подстраивается под собеседника.
В новостях
Глава Hugging Face назвал главным риском ИИ концентрацию власти в нескольких лабораториях
Выравнивание — то, насколько цели и поведение модели соответствуют намерениям людей. Если модель развивается без внешнего доступа, независимо проверить это нельзя.