NVIDIA и CrowdStrike столкнули ИИ-агентов атаки и защиты. Открытые модели выиграли по качеству
Агент-защитник на открытых моделях Nemotron писал правила обнаружения атак реже, чем закрытая передовая система, но чаще попадал. Три его правила прошли все проверки и поймали все восемь новых атак, у конкурента таких не нашлось.
NVIDIA и CrowdStrike проверили, могут ли ИИ-агенты сами разыгрывать учения по кибербезопасности, на которые у людей уходят недели. Один агент атакует, другой пишет правила, по которым система защиты узнаёт такую атаку. Затем атакующий получает сведения о новой защите и ищет обходной путь. Цикл повторяется, пока обходов не останется.
Всё происходило в изолированной копии инфраструктуры. Её собрали по обезличенному описанию вычислительных систем NVIDIA и оснастили датчиками CrowdStrike Falcon. Прогресс атаки считали по журналам и телеметрии, а не по отчётам самого агента. Защитой руководила Nemotron 3 Ultra: она восстанавливала ход атаки и планировала работу. Сами правила писала и исправляла дообученная Nemotron 3 Super. CrowdStrike натренировала её на 9 349 примерах, а затем применила обучение с подкреплением с проверяемыми вознаграждениями: награду давали за запрос, который реально срабатывает на тестовых журналах в LogScale. Черновик правила проходил автоматические проверки. Его прогоняли по записи атаки и отдавали на суд отдельной модели-«судье». Правила, привязанные к конкретным IP-адресам или хостам, отбраковывались.
Результат заметен. Одна Ultra без доработок создавала правила, которые ловили записанную атаку, лишь в 16,5% случаев. Полная связка довела долю до 41,9%, то есть в 2,5 раза выше. Затем правила выпустили против восьми новых атак того же типа. Из 11 правил на открытых моделях сработали 45%. Закрытая передовая система написала 35 правил, и из них сработали 29%. Какая именно это система, авторы не называют.
Самый строгий фильтр требовал, чтобы правило сработало, не шумело на обычном трафике и прошло независимую проверку. Его прошли три правила на Nemotron, и вместе они покрыли все восемь атак. У закрытой системы таких правил не оказалось ни одного.
Авторы сами называют работу пилотным исследованием, а не бенчмарком. Проверяли один тип сценариев, правил было немного, обычного трафика для проверки на ложные срабатывания не хватало. В трёх из восьми боевых прогонов среда запуска давала сбои. Отдельно CrowdStrike утверждает, что её защитная модель Blue Solano точнее лучшей закрытой модели при цене на 99% ниже. Но это данные её внутренних тестов.