Anthropic запустила программу защиты электросетей и открытого кода

Anthropic запустила Cyber Mission — долгосрочную программу, в которой даёт модели Claude, своих инженеров и деньги тем, кто защищает от взлома электросети, водоканалы, транспорт и открытый код.

Почему это важно: модели, способные находить и использовать уязвимости, уже доступны атакующим. А защитные инструменты, в том числе созданные самой Anthropic, по её признанию, дошли ещё не до всех, кому они нужны.

Предыстория: в апреле Anthropic запустила Project Glasswing: партнёры получили закрытую модель Claude Mythos и искали с ней уязвимости в важных программах. Нашли много, но заметно снизить риск атак, по оценке самой компании, не удалось: найти уязвимость стало проще, а проверить и исправить её по-прежнему трудно. На этой неделе компания объединила Project Glasswing с расширенной Cyber Verification Program, через которую проверенные специалисты по киберзащите получают доступ к её сильнейшим моделям.

Из чего состоит: программа начинается с двух направлений:

• Critical Infrastructure Defense Program даёт модели Claude, инженеров на местах и данные об угрозах компаниям, которые помогают операторам электросетей, водоканалов и транспорта защищать системы управления.
• OSS Scanner бесплатно и регулярно проверяет на уязвимости важные проекты с открытым кодом, которые сами записались в сервис.

Детали: системы управления — контроллеры и промышленные сети — строят на десятилетия, а остановить их ради обновления часто нельзя, поэтому известные уязвимости живут в них годами. Первыми партнёрами программы стали 11 компаний, среди них Accenture, CrowdStrike, Dragos¹, Palo Alto Networks и Rockwell Automation. Несколько из них уже исправляют уязвимости с помощью Claude.

Как это работает: в каждом отчёте сканера — работающий пример атаки, объяснение ошибки и, если получилось, предлагаемое исправление. Отчёты пишут сильнейшие модели компании, включая Claude Mythos, как уточняет команда сканера, и отправляют их без проверки людьми. Так быстрее, но возможны ошибки, например в оценке опасности; Anthropic ожидает, что настоящими уязвимостями окажутся больше 90% находок.

В цифрах: команда сканера в отдельном посте привела цифры:

• За полгода модели Anthropic нашли в важных проектах больше 29 000 возможных уязвимостей, а люди успели разобрать около 6 000.
• Почти 5 000 непроверенных отчётов компания уже отправила мейнтейнерам², которые сами попросили прислать всё найденное.
• Специалисты по тестированию на проникновение проверили 97 серьёзных и критических находок ранней версии сканера в 48 проектах.
• Годными для отправки мейнтейнерам признали 85 из них, ложной оказалась одна, остальные повторяли уже известное.

Что говорят: отзывы о ранних версиях сканера приводит сама Anthropic. «Отчёты ИИ, которые приходили примерно полтора года назад, до Project Glasswing, были ужасными. Отчёты от Anthropic, в том числе необработанный вывод модели, оказались не хуже, а иногда и лучше тех, что мы получаем от людей», — пишет Антон Арапов из OpenSSL Corporation. В компании wolfSSL, которая делает библиотеку шифрования, по словам Тодда Оуски, «из 74 полученных отчётов верными оказались все, кроме двух, а пять стали CVE³».

Другая сторона: разработчик Эндрю Несбитт ещё в июне, рассказывая о своём инструменте Scrutineer, предупреждал: «Попытка защитить всё, обстреливая мейнтейнеров машинными отчётами, доведёт до выгорания людей, на которых держится вся работа». Сканер Anthropic подключают только сами проекты, у которых хватает людей разбирать поток находок и которые критически важны для инфраструктуры и безопасности пользователей. Остальным компания по-прежнему будет присылать уязвимости, проверенные людьми.

Если шире: Anthropic называет образцом для своего сканера OSS-Fuzz — сервис Google, который ищет ошибки в открытом коде, подавая программам случайные данные. А 6 октября IBM и Red Hat сообщили, что их сервис Lightwell нашёл и закрыл свыше 400 уязвимостей в Java-библиотеках.

Что дальше: в ближайшие месяцы Anthropic обещает подключить к программе для инфраструктуры новых партнёров и отрасли и рассказать, что не сработало. Компания прогнозирует, что через два года ИИ будет больше помогать защите, чем нападению, но признаёт, что пока это может быть не так: в Glasswing между находкой уязвимости и её исправлением часто проходили месяцы.

Похожую программу для властей штатов и местных властей США Anthropic запустила в июне. С тех пор она предложила модели Claude и техническую помощь больше чем половине штатов и нескольким крупнейшим государственным операторам инфраструктуры.