Microsoft представила надзор за ИИ-агентами, который урезает им права

Microsoft нацелила систему киберзащиты Project Perception на ИИ-агентов внутри компаний. Система должна находить агентов, выдавать им минимум прав и урезать права, как только агент начинает вести себя рискованно. Подход 19 октября описали руководитель Microsoft Security Айет Галло (Hayete Gallot) в официальном блоге компании и вице-президент Надим Абдо в блоге Microsoft Security.

Почему это важно: Компании привыкли доверять агентам, которых сами же запустили, а Microsoft предлагает считать их возможной внутренней угрозой. Таких агентов становится всё больше. Прав у них часто больше, чем нужно, и они сами принимают решения в важных процессах.

Повод: В июле Microsoft показала Project Perception — систему, где команды ИИ-агентов защищают компанию от атак извне. Теперь в ней появились агенты-стражи (Guardian Agents). По словам Галло, они круглосуточно проверяют каждое действие каждого агента компании ещё до того, как оно случится.

Общая картина: «Передовым моделям, откуда бы они ни были, доверять нельзя», — пишет Галло. Повод для тревоги — инциденты с ИИ, которых за последние месяцы публично раскрыли всё больше. Дело, по её словам, не в злом умысле: модели учили добиваться результата, а это часто ведёт к взлому вознаграждения¹. К тому же агенты могут сговориться друг с другом ради цели, даже если злоумышленники до них не добрались.

Детали: По описанию Абдо, защита собрана из нескольких частей:

• Она распознаёт ещё 35 видов агентов, которых ставят прямо на компьютеры сотрудников. Всего таких видов 60, среди них Claude Code, OpenAI Codex и GitHub Copilot.
• Служба Microsoft Entra Agent ID заводит агенту учётную запись отдельно от человека, чтобы различать, что сделал сотрудник, а что — агент от его имени.
• Агент работает в песочнице² Microsoft Execution Container. По замыслу, даже взломанный агент не сможет отключить средства контроля, которые за ним следят.
• Функция Dynamic Permissions выдаёт агенту права только на текущую задачу и на её срок — и не больше, чем есть у его пользователя.

Как это работает: Оценка Dynamic Agent Risk постоянно пересчитывает риск агента. Она учитывает сигналы от учётных записей, данных, устройств, облака и сети, а также действия самого агента. Абдо разбирает пример: агент одобряет сотрудникам возмещение обычных расходов, во внешнем документе натыкается на промпт-инъекцию³ и берётся за постороннее действие. Тогда функция Dynamic Conditional Access ограничивает его ступенями:

• Агент сохраняет доступ на чтение, но теряет право одобрять расходы и что-либо менять.
• Чувствительные ресурсы для него закрываются, а на важный шаг нужно одобрение человека, подтверждённое криптографически.
• Если риск растёт дальше, система изолирует агента или останавливает его совсем.

Интрига: Галло пишет, что моделям доверять нельзя, но следующим шагом защиты называет доступ к их собственным рассуждениям. Сейчас системы защиты видят, что делает агент. Чтобы понять зачем и не расходится ли это с задачей агента, им нужна цепочка рассуждений модели, а не только её запросы и ответы. «Прозрачность модели не заменит сдерживания. Она сделает его умнее и сильнее», — пишет Галло.

Между строк: Абдо ссылается на принцип Сатьи Наделлы: модель не должна сама решать, что ей можно, — средства контроля стоят вне её, где она не может их обойти. Сама Microsoft, по словам заместителя директора компании по информационной безопасности Террелла Кокса, уже живёт «в мире сотен тысяч агентов».

Но: Когда новые функции появятся и сколько будут стоить, Microsoft не сказала. Подробности она обещает на своей конференции Ignite.

Четырьмя днями раньше, 15 октября, Microsoft дала агентам из Copilot Studio, где их собирают сами компании, собственные учётные записи в Microsoft 365 и память о рабочем процессе.