NVIDIA предложила защищать ИИ-агентов ограничениями вне их досягаемости
NVIDIA предложила защищать ИИ-агентов так, чтобы запреты на доступ к файлам, сети и данным действовали, даже когда агент ошибается.
NVIDIA предложила защищать ИИ-агентов так, чтобы запреты на доступ к файлам, сети и данным действовали, даже когда агент ошибается. Об этом говорится в блоге компании. Такие ограничения, по мнению NVIDIA, должна задавать среда, в которой работает агент, а не его собственные рассуждения.
В пример компания приводит агента, который обновляет карточку клиента. Во вложенном документе ему попадаются вредоносные инструкции, и агент пытается выгрузить данные клиентов на посторонний адрес. Передачу должны заблокировать сетевые правила. Защищённые журналы должны записать попытку вызова инструмента, решение о допуске и итог.
Право обновлять запись не должно автоматически давать право её выгружать. «Агент может запросить дополнительный доступ, но не может сам его разрешить», — говорится в блоге. У каждого агента должна быть своя учётная запись, по которой видно его действия, и доступ только к тому, что нужно для задачи. Важные действия и смену прав по-прежнему одобряет человек.
Для этого NVIDIA предлагает OpenShell — среду выполнения с открытым кодом. Она запускает агента в песочнице1 и применяет правила доступа к данным, сети и системе так, что сам агент их изменить не может. На OpenShell строят свои продукты участники альянса Open Secure AI Alliance2. Cisco добавляет к ней слой управления DefenseClaw, а JFrog проверяет навыки агентов и определяет, какими из них агент может пользоваться.
Перед запуском команда должна убедиться, что защита блокирует попытки получить лишние учётные данные и отправить данные туда, куда нельзя. Проверки нужно повторять после заметных изменений моделей, инструментов или процессов. Решение о запуске принимает конкретный ответственный сотрудник. В качестве примеров компания называет SafeMind от CrowdStrike, который многократно имитирует атаки, и Prisma AIRS от Palo Alto Networks для постоянной проверки атаками3.
Открытые модели NVIDIA считает дополнением к закрытым. С ними команда во время инцидента может воспроизвести сбой и проверить исправление на своих серверах, не вынося чувствительные данные наружу. Среди инструментов на базе ИИ названы VulnHunter от Capital One для поиска уязвимостей в коде и Spectra Assure от ReversingLabs, которая ищет вредоносный код и следы подмены в программных пакетах.
Ранее NVIDIA и CrowdStrike провели эксперимент с ИИ-агентами атаки и защиты. Агент-защитник на открытых моделях Nemotron писал правила обнаружения атак точнее, чем закрытая передовая система.