Глава Hugging Face после проверки защиты Anthropic призвал не считать закрытый ИИ безопасным

Глава Hugging Face Клеман Деланг считает, что держать ИИ за закрытыми дверями небезопасно. Довод — статья Washington Post: по ней ИИ-агенты стартапа Cathedral за 12 часов проникли во внутренние системы Anthropic.

Почему это важно: по словам чиновника администрации Трампа, отчёт Cathedral разошёлся по правительству США и вызвал опасения за национальную безопасность. Деланг превратил этот случай в довод в споре закрытых и открытых моделей.

Цитата: «Если вы думали, что безопасно держать ИИ за закрытыми дверями, в руках немногих, пора пересмотреть свои представления», — написал Деланг в соцсети X 26 октября.

Повод: Cathedral — стартап по кибербезопасности, который несколько месяцев назад основали бывшие сотрудники Департамента эффективности правительства¹. Он проверял Anthropic по её программе поиска уязвимостей: за найденные бреши компания вознаграждает сторонних исследователей.

Детали: Washington Post видела черновик отчёта Cathedral. В нём сказано вот что:

• ИИ-агенты нашли пути во внутренние системы Anthropic меньше чем за 12 часов.
• Брешь нашлась не в коде самой Anthropic, а в сторонних программах для продаж и администрирования, которыми пользуются и многие другие компании.
• Агенты добрались до расшифровок совещаний, данных о зарплатах и предложениях о работе, а также до переписки в Slack² о передовых моделях.

Другая сторона: Anthropic признаёт доступ к «ограниченному набору» систем продаж, кадров и ИТ, где хранились контакты части клиентов и партнёров. Расшифровки, зарплаты и переписку в Slack она не подтвердила:

• Запросы клиентов, ответы Claude, исходный код и веса моделей, по словам компании, остались недоступны.
• Её мониторинг заметил часть действий Cathedral ещё до сообщения о находке, а доступ закрыли в тот же день.
• Компания считает, что Cathedral преувеличила угрозу для национальной безопасности и нарушила правила программы, раскрыв не все свои действия.

Что говорят: «Если кучка ребят, которые только что основали компанию, способна на такое, то, возможно, и китайцы недалеко», — сказал Washington Post высокопоставленный чиновник администрации Трампа на условиях анонимности.

Интрига: сооснователь Cathedral Гэвин Клигер до апреля был директором Пентагона по данным. По данным Reuters, он участвовал в споре ведомства с Anthropic, которая отказалась разрешить применять Claude в автономном оружии и для массовой слежки внутри страны.

Между строк: Hugging Face — главная площадка для открытых моделей. 18 сентября Деланг уже называл главным риском ИИ концентрацию власти в нескольких лабораториях.

Из Anthropic ушёл исследователь Джейкоб Коксон. За несколько недель до статьи Washington Post он назвал гонку к самосовершенствующемуся ИИ «самонадеянной авантюрой», которую запускают из «Slack частной компании». По данным Washington Post, он упрекал Anthropic и в том, что она полагается на обычные бизнес-программы.