ИИ-агенты Cathedral в поиске уязвимостей проникли в системы Anthropic, пишет The Washington Post

ИИ-агенты стартапа Cathedral, основанного бывшими сотрудниками Департамента эффективности правительства¹, меньше чем за 12 часов нашли путь во внутренние системы Anthropic, пишет The Washington Post со ссылкой на черновик отчёта стартапа. Anthropic подтверждает, что доступ был, но называет его ограниченным и считает, что Cathedral преувеличивает значение находки.

Почему это важно: слабым местом одной из ведущих ИИ-лабораторий оказался не её собственный код, а сторонние программы для продаж и кадров, которыми пользуются и многие другие компании. По словам чиновника администрации Трампа, отчёт уже разошёлся по правительству США и вызвал опасения за национальную безопасность.

Повод: Cathedral проверяла Anthropic в рамках программы, по которой компания платит внешним исследователям за найденные уязвимости, и в октябре сообщила ей о находках. По черновику отчёта, агенты добрались до расшифровок встреч, данных о зарплатах и предложениях о работе, а также до сообщений в корпоративном мессенджере Slack, где обсуждались передовые модели компании.

Детали: вход нашёлся через уязвимости в стороннем софте для административной работы и продаж. Названия программ Cathedral не раскрывает из соображений безопасности, но их производителей предупредила. В черновике отчёта стартап уверяет, что обращался к данным лишь в минимально необходимом объёме, как принято при исследованиях безопасности. От комментариев изданию Cathedral отказалась.

Другая сторона: Anthropic описывает куда более узкий доступ.

• Исследователи попали в «ограниченный набор» систем продаж, кадров и IT, где хранились деловые контакты части клиентов и партнёров и базовые данные учётных записей.
• До запросов клиентов к Claude, ответов модели, исходного кода и весов моделей² исследователи не добрались, утверждает компания.
• Мониторинг Anthropic заметил часть действий Cathedral ещё до её сообщения, доступ закрыли в тот же день, а следов того, что уязвимостями пользовался кто-то ещё, нет.
• Затронутые программы компания отключила до исправлений у производителей и рассказала о случившемся федеральным чиновникам.

Ещё Anthropic считает, что Cathedral не полностью соблюла правила программы: рассказала не обо всём, что делала внутри систем. О расшифровках встреч, зарплатах и переписке в Slack в описании компании речи нет.

Между строк: Cathedral продаёт ИИ-инструменты для кибербезопасности властям США и компаниям, а один из её основателей судился с Anthropic на стороне Пентагона.

• Стартап несколько месяцев назад основали четверо выходцев из Департамента эффективности правительства: Гэвин Клигер, Люк Фарритор, Марко Элез и Джек Стайн.
• Клигер после Департамента эффективности правительства был в Пентагоне директором по данным и, как пишет The Next Web, участвовал в судебном споре министерства с Anthropic о военном применении Claude.
• В июле Cathedral привлекла 160 млн долларов при оценке 1,4 млрд долларов, раунд возглавили фонды Andreessen Horowitz и Sequoia.
• По словам чиновника, недавно с Cathedral заключили контракты три федеральных ведомства.

Что говорят: «Если кучка ребят, которые только что основали компанию, может такое сделать, то, возможно, и китайцы недалеко», — сказал изданию высокопоставленный чиновник администрации Трампа, попросивший не называть его имени. Алекс Стамос, директор по информационной безопасности стартапа Cognition³, по просьбе издания изучил выводы Cathedral. По его словам, Anthropic «могла бы справиться гораздо лучше» с контролем над сторонними поставщиками программ, хотя риск от чужих приложений, подключённых к системам компании, — общая проблема. Cognition сама пользуется моделями Anthropic.

Если шире: это не единственная октябрьская история о защите ИИ-лабораторий. ФБР выясняет, не занимался ли экономическим шпионажем бывший инженер OpenAI, писала The Wall Street Journal. Его обвиняют в том, что он установил прослушивающее устройство в переговорной OpenAI.

Спор Anthropic с Пентагоном тянется с весны. В начале марта министерство признало компанию угрозой для цепочки поставок: Anthropic отказалась снять запрет на массовую слежку и полностью автономное оружие. 25 сентября апелляционный суд округа Колумбия решением двух судей против одного оставил этот статус в силе.