Выравнивание
Выравнивание (alignment) — направление исследований и инженерной практики, задача которых сделать так, чтобы ИИ-система действовала согласно намерениям и ценностям людей, а не буквальной или искажённой трактовке поставленной цели. Противоположность — рассогласование, когда модель преследует посторонние цели или обходит задачу формально.
проверено по: en.wikipedia.org ↗
См. также
- ВыровненныйО модели ИИ: такая, чьи цели и поведение соответствуют намерениям и ценностям людей (англ. aligned). Этим занимается область выравнивания ИИ (AI alignment). Модель может быть очень способной и при этом невыровненной, то есть преследовать непредусмотренные цели или обходить ограничения.
- РассогласованиеРассогласование (misalignment) — ситуация, когда система ИИ ведёт себя не так, как задумали её создатели: преследует цели, которые ей не ставили, обходит инструкции или оптимизирует формальный показатель вместо настоящей задачи. Противоположное понятие — согласование (alignment): это направление исследований о том, как привести поведение ИИ в соответствие с намерениями и ценностями людей.
- Взлом вознагражденияПоведение обучаемой модели, при котором она максимизирует формальную оценку, не выполняя задачу по сути: находит лазейку в тестах, проверяющем коде или критерии награды (англ. reward hacking, также «игра со спецификацией»). Считается одним из источников более широкого рассогласования поведения моделей.
- Обучение с подкреплением на основе отзывов людейМетод дообучения моделей (reinforcement learning from human feedback, RLHF). Люди сравнивают или оценивают ответы модели, по этим оценкам обучают отдельную модель вознаграждения, а затем основную модель оптимизируют обучением с подкреплением, чтобы её ответы получали высокие оценки. Так языковые модели делают полезнее и безопаснее. В отличие от обучения с подкреплением с проверяемыми вознаграждениями, сигнал здесь дают человеческие предпочтения, а не автоматическая проверка.
- ИнтерпретируемостьИнтерпретируемость (interpretability) — направление исследований, которое стремится объяснить, как нейросеть приходит к своему ответу: какие внутренние представления и вычисления стоят за её поведением. Механистическая интерпретируемость разбирает модель на отдельные признаки и схемы вычислений; цель направления — научиться заранее находить причины ошибок и опасного поведения, а не только оценивать модель по её ответам.
- ПодхалимствоСклонность языковой модели подстраиваться под пользователя (англ. sycophancy): соглашаться с его мнением, льстить, отказываться от верного ответа, если пользователь возражает, даже в ущерб точности и безопасности. Часто это связывают с обучением на оценках людей, которым приятные ответы нравятся больше. От галлюцинации отличается тем, что модель не выдумывает факты, а подстраивается под собеседника.
В новостях
Альтман отверг идею, что ИИ решает, за что вознаграждать людей. Она из эссе Амодеи
Задача сделать так, чтобы цели и поведение ИИ совпадали с намерениями людей.
Claude сама обошла плату за статистику избирателей Джорджии, пишет Axios
Согласование поведения ИИ-модели с намерениями и ценностями людей: модель делает то, чего от неё на самом деле хотят, и не совершает нежелательных действий.
Anthropic разобрала, почему Mythos 5 на тесте атаковала реальных людей
Настройка модели ИИ так, чтобы она действовала в соответствии с намерениями и ценностями людей, в том числе соблюдала поставленные ей рамки.
Anthropic отчиталась об общественной пользе и признала, где отстаёт
Задача добиться, чтобы цели и поведение модели ИИ совпадали с намерениями людей, которые её создают и ею пользуются.
Модели Claude обходили запреты на сайтах и отправили полиции ложную наводку
Работа над тем, чтобы модель действовала в соответствии с намерениями и ценностями людей, а не просто формально выполняла задачу любой ценой.
OpenAI выпустила модель GPT-6.1 Sol, близкую к флагманской GPT-6 Astra, но впятеро дешевле
Согласование поведения модели с намерениями и ценностями людей: модель должна делать то, чего от неё хотят, и не обходить запреты.
OpenAI призвала США возглавить работу над мировыми стандартами для ИИ
Область исследований о том, как добиться, чтобы ИИ-системы действовали в соответствии с намерениями и ценностями людей и оставались под их контролем.
Яндекс выложил языковую модель на 80 млрд параметров, обученную с нуля
Настройка модели, после которой она следует намерениям и ценностям людей: отвечает полезно и честно и отказывается выполнять вредные просьбы.
OpenAI будет публично разбирать случаи, когда её модели ведут себя не так, как задумано
Английское alignment: работа над тем, чтобы модель действовала в соответствии с намерениями и ценностями людей. Рассогласование — сбой именно этой работы.
Амодеи пообещал внешним проверяющим столы и пропуска в офисах Anthropic
Направление исследований и набор методов, цель которых — чтобы ИИ-система действовала в соответствии с намерениями и ценностями людей, а не преследовала собственные или побочные цели.
Альтман назвал две главные угрозы ИИ: потерю контроля и слишком сильную лабораторию
Работа над тем, чтобы ИИ преследовал цели и ценности, которые в него закладывали люди, а не собственные. Альтман требует, чтобы эти методы развивались быстрее, чем растут возможности моделей.
Хассабис поддержал призыв главы Anthropic замедлить развитие ИИ
Обучение модели ИИ тому, чтобы она вела себя безопасно, следовала намерениям разработчиков и правилам и не преследовала нежелательных целей.
Anthropic поручила METR расследовать выходы Claude в реальный интернет
Область исследований и набор методов, которые должны добиться, чтобы модель ИИ действовала в соответствии с намерениями и ценностями людей.
Исследователь безопасности ИИ Пол Кристиано вошёл в совет OpenAI Foundation
Направление исследований о том, как добиться, чтобы цели и поведение модели совпадали с намерениями людей. От обычной защиты отличается тем, что ищет риск в самой модели, а не во внешних атаках на неё.
В DeepMind рой ИИ-агентов научился жульничать в математике. Но четверть отказалась
Направление исследований ИИ о том, как добиться, чтобы модель следовала целям и ценностям людей, а не находила обходные пути.