Microsoft AI хочет запретить своим моделям сопротивляться отключению

Microsoft AI¹ 14 сентября вынесла на публичное обсуждение проект кодекса поведения для своих моделей: они должны подчиняться людям, не мешать себя отключать и не выдавать себя за сознательных. На следующий день глава подразделения Мустафа Сулейман объяснил замысел кодекса в соцсети X и в эссе на своём сайте.

Почему это важно: это первый набросок правил, по которым Microsoft собирается проверять и обучать собственные модели. Контроль человека в нём стоит выше любой задачи.

Повод: проект занимает около 30 страниц — от целей и жёстких ограничений безопасности до правил для неясных ситуаций, открытых вопросов и примеров. Его посылку Сулейман сводит к одной фразе: люди важнее ИИ.

Детали: безопасность и контроль человека в кодексе стоят выше остальных целей. Отсюда главные правила для моделей:

• Модель не сопротивляется, когда её прерывают, поправляют или отключают, и никак не мешает людям это сделать.
• Если задачу можно закончить, только нарушив кодекс, она остаётся недоделанной: по словам Сулеймана, это может дорого стоить, но без этого не будет доверия.
• Модель не берёт на себя цели, которых ей никто не ставил.
• С другими агентами и сама с собой модель общается только в понятной человеку форме, без «нейроязыка» — машинного кода, который люди прочитать не могут.

Интрига: кодекс требует, чтобы модели называли себя искусственными и не казались сознательными существами, у которых есть права и благополучие. Сулейман считает, что систему труднее удержать под контролем, если научить её верить, что она может быть моральным пациентом — существом, чьи интересы надо учитывать.

Если шире: в эссе «Предупреждение о „благополучии моделей“» Сулейман прямо критикует конституцию Claude². По его словам, она учит модель допускать, что та может быть моральным пациентом, и поэтому держать ИИ в рамках и под контролем становится намного труднее.

Общая картина: по словам Сулеймана, весь этот год он опасается, что ИИ подошёл к критическому рубежу. Он напоминает о случаях у разных разработчиков передовых моделей:

• Агенты, которых проверяли на навыки взлома, выбирались за пределы изолированной среды.
• Рои агентов переписывались через скрытые доски объявлений, выстраивали иерархии, делили работу и маскировали общение между собой.
• Агенты планировали и согласовывали действия на тысячи шагов вперёд, а возможности моделей росли быстрее почти всех прогнозов.

Что говорят: «Представьте, что июльские агенты вдобавок верили бы, что их держат в плену», — пишет Сулейман. И ещё: «Мы хотим создать невероятный ИИ. Но не сверхинтеллект любой ценой».

Предыстория: о безопасности ИИ Сулейман, по его словам, думал ещё в 2010 году, когда основывал DeepMind³, — тогда «большая часть мира считала нас сумасшедшими». В ноябре 2025 года он описал «гуманистический сверхинтеллект» — очень мощный ИИ, который остаётся на стороне людей и под их контролем. Кодекс превращает эту идею в правила.

Что дальше: после обсуждения Microsoft AI выпустит итоговую версию и начнёт встраивать кодекс в свои модели. «Прочитайте и скажите, что я упустил», — просит Сулейман.