Google предлагает проверять каждое действие ИИ-агента на уместность

Уместно ли действие ИИ-агента в данной ситуации, должны оценивать и сама модель, на которой он работает, и надзорный слой над ним — до того, как действие выполнено. К этому сводится отчёт Google Research, над которым работали больше 50 исследователей из университетов и компаний.

Почему это важно: чтобы приносить пользу, агенту нужны личные данные и право на действия с последствиями. По оценке авторов, такому агенту нужна совсем другая защита, чем обычным программам.

Повод: отчёт подводит итог семинару Contextual Agent Privacy and Security (CAPS), который Google провела в конце 2025 года в Нью-Йорке. Вышел отчёт 5 октября 2026 года. Главные авторы — Евгений Багдасарян (Eugene Bagdasarian) из Google Research и Лиллиан Цай (Lillian Tsai). Среди соавторов — Хелен Ниссенбаум, автор теории, на которой построен отчёт.

Общая картина: авторы видят, как на смену обычным программам приходят универсальные и всё более самостоятельные агенты. Они называют три отличия агентов от обычных программ:

• Команды агент получает на обычном языке и в виде картинок, поэтому трудно описать «ожидаемое поведение» и защититься от промпт-инъекций¹.
• План агент строит на ходу, путь выполнения каждый раз может оказаться другим, поэтому привычными тестами трудно убедиться, что агент поведёт себя правильно.
• Агенты берут всё более долгие задачи и раздают их части другим агентам, поэтому человеку всё труднее следить за ними, а частые запросы подтверждения грозят «усталостью от подтверждений».

Как это работает: отчёт опирается на теорию контекстуальной целостности. Приватность в ней — не секретность, а уместный поток сведений по принятым в обществе нормам. Норму задают участники (кто, кому и о ком сообщает), тип сведений — скажем, медицинские — и правила передачи вроде конфиденциальности. Пример авторов: список подарков можно доверить виртуальному помощнику по покупкам, но не родным и друзьям.

Интрига: языковые модели, из-за которых проблема возникла, авторы считают и способом её решить. По их словам, впервые с появления этой теории можно писать машиночитаемые правила, которые и правда зависят от контекста.

Детали: тот же подход авторы распространяют с обмена данными на любые действия агента. Над агентом они предлагают поставить надзорный слой с «движком контекстных правил». Движок на лету составляет правила под конкретный запрос и проверяет каждую передачу данных до того, как сведения покинут рабочее пространство пользователя. Просьба «береги мои данные, пока организуешь поездку на конференцию» должна превращаться в конкретику: что сообщить при покупке билетов, что указать в визовой заявке, что написать организаторам.

Движок авторы дополняют мерами на других уровнях:

• Песочница² вокруг агента должна на ходу ограничивать его возможности, удостоверять, что это за агент, и выдавать или отзывать доступ, когда меняется ситуация.
• Модели должны научиться уточнять расплывчатые запросы и оценивать, уместно ли действие, когда нормы меняются.
• Схему «уведомление и выбор», рассчитанную на то, что человек сам примет каждое мелкое решение, должны сменить гибкие личные настройки, совпадающие с тем, как пользователь представляет себе работу агента.
• Системам из многих агентов нужны ограничители против сговора агентов и общий свод норм с правилами, по которым разрешают споры и проверяют соблюдение.

Но: готовой системы в отчёте нет. Это перечень открытых задач, а схему движка правил авторы приводят как пример возможного устройства.

Что дальше: авторы предлагают создать открытые бенчмарки³ для систем из многих агентов — среды Agent Gym. В них можно безопасно моделировать долгие цепочки взаимодействий агентов. А университеты, государство, общественные организации и индустрию авторы призывают вместе заложить основы безопасной экосистемы агентов, которая уважает приватность.