IBM и Red Hat встроили в открытый прокси Praxis надзор за ИИ-агентами
Движок Praxis Policy Engine проверяет каждое обращение ИИ-агента к инструментам, моделям, данным и другим агентам по правилам компании и ведёт журнал своих решений.
IBM вместе со своей дочерней компанией Red Hat встроила в открытый прокси-сервер Praxis движок правил для ИИ-агентов — Praxis Policy Engine (PPE). Движок стоит между агентом и всем, к чему тот обращается, и решает, какой вызов инструмента, модели или другого агента пропустить.
Praxis — программа-посредник, через которую идёт и обычный сетевой трафик, и запросы к моделям. Проект приняли в начальную категорию Sandbox фонда Cloud Native Computing Foundation1. Среди тех, кто ведёт проект и принимает в него правки, есть люди, связанные с IBM.
Как это работает: правила PPE распространяются на инструменты, запросы, данные, обращения к моделям и других агентов. Проверяя действие, движок учитывает, кто его запросил, от чьего имени работает агент и что содержится в запросе, а потом записывает решение в журнал. Опирается он на проверенные сведения, которые находятся вне контроля модели.
Детали: жёсткие запреты доступа, более мягкие правила поведения и особые требования для отдельных областей описываются в одном документе. Применить его можно в трёх местах. Движок ставят на шлюз, через который идут запросы, или запускают отдельной программой рядом с агентом, а не внутри него. Третий вариант — встроить проверку во фреймворк, готовую программную основу, на которой написан агент. В каждом случае правила охраняют только те операции, которые проходят через это место.
Общая картина: IBM считает ИИ-шлюзы следующим слоем ИИ-платформ. Он расположен над системами, которые запускают модели на серверах, принимают запросы к ним и возвращают ответы. Шлюз решает, кому дать доступ, вызывает инструменты, берёт на себя часть работы агента и считает, сколько токенов израсходовал каждый сотрудник или команда. Токен — фрагмент текста, обычно часть слова: в токенах измеряют, сколько модель прочитала и написала. Основой такого шлюза компания видит Praxis, а PPE должен следить в нём за соблюдением правил безопасности организации.
Если шире: IBM участвует и в работе над отраслевыми стандартами. Вместе с коалицией CoSAI2 она разрабатывает стандарт ODIS: как удостоверять личность агента, передавать ему полномочия в заданных пределах и проверять его права. В OCSF — общий формат записей о событиях безопасности, который поддерживают облачные провайдеры и системы мониторинга, — компания добавила свои расширения. PPE может создавать такую запись о каждом своём решении. При желании записи можно подписывать и связывать в цепочку, где каждая следующая содержит отпечаток предыдущей, — тогда проверяющий заметит, если запись потом исправят.
Что дальше: исследователи хотят совместить шлюз с изоляцией компьютера, на котором работает агент. Изоляция ограничивает, какие файлы агент читает и какие команды запускает. Шлюз определяет, кто вправе вызывать агента, к каким сервисам тот обращается по сети и какие данные может получать и отдавать. Команда собирается проверить, как агенты и их инструменты могут обойти такие ограничения и какие сочетания защит выдерживают попытки обхода, не мешая работе.
В конце октября IBM выпустила систему учёта агентов: она записывает, кто владеет каждым агентом компании и какие у него права, и выдаёт ему временные ключи доступа.