Натан Ламберт считает, что ИИ находит больше уязвимостей не из-за открытых моделей

Волна уязвимостей, которые находят с помощью ИИ, зависит от состояния всей программной экосистемы, а не от выхода открытых моделей, считает исследователь Натан Ламберт. Об этом он говорил 25 октября в подкасте своей рассылки Interconnects¹ с Флорианом Брандом, который занимается оценкой моделей.

Почему это важно: после бага PHP2Shell обострился спор о том, можно ли выкладывать в открытый доступ модели, которые умеют взламывать. Ламберт — один из самых заметных защитников открытых весов. Свой прежний прогноз он отчасти пересматривает, но по-прежнему считает, что дело не в открытых моделях.

Предыстория: в апреле Ламберт спорил с теми, кто считал, что цифровая инфраструктура не готова к открытой модели уровня Claude Mythos. Эту модель Anthropic из-за её навыков взлома не выпустила в общий доступ. Несколько недель назад Ламберт написал, что и открытые веса самой Mythos в апреле не обернулись бы бедой.

Повод: 21 октября разработчики PHP выпустили срочные исправления двух критических уязвимостей, которые назвали PHP2Shell:

• Через них можно без входа в систему запустить свой код на сервере с PHP, а на этом языке работает большинство сайтов, включая созданные на WordPress.
• Найти их помогли в том числе модели OpenAI в программе Patch the Planet, где исследователи с их помощью ищут и закрывают уязвимости.
• Сведения о багах утекли раньше срока, и в день выхода исправлений Финляндия, Нидерланды и Франция отключили государственные сайты, писал Decrypt.
• После этого многие заговорили, что любой с открытой моделью теперь может взломать что угодно, но массовых атак, по словам Бранда, не случилось.

Цитата: «Я плохо объяснил в том тексте одно: тренды предсказывали, что уязвимости будут множиться всё быстрее, — эти тренды существовали», — сказал Ламберт. По его словам, ему стоило заранее разобраться в кибербезопасности и заложить это в прогноз.

Не факт: мысль, что рост уязвимостей связан не с открытыми моделями, — оценка Ламберта, проверить её пока нельзя. Как используют открытые модели, по его словам, почти не видно, а ответ дадут лишь ближайшие месяцы. Его доводы:

• Специалисты по кибербезопасности, которых он читает, видят, что число найденных уязвимостей и срок до первой атаки менялись по экспоненте ещё до ChatGPT.
• По его мнению, много уязвимостей сейчас раскрывают как раз благодаря программам, где проверенным исследователям дают доступ к закрытым моделям.
• Людей, готовых на громкие разрушительные атаки, мало: вслед за исследователем Джошуа Саксом он говорит, что в хакеры часто идут те, кто не нашёл работы получше.
• Опаснее другое: агенты для программирования пишут всё больше кода, и в ближайшие годы уязвимостей, по его ожиданиям, станет гораздо больше.

Другая сторона: многие, по словам Ламберта, отвечают ему: «Мы были правы» — из-за открытых моделей взломов стало много. Он возражает, что причинную связь здесь доказать очень трудно. А компании, которые говорят о безопасности ИИ, по его словам, годами вели себя как мальчик из басни, который кричал «Волки!».

Расклад: доступ к моделям для киберзащиты и атак сейчас устроен так:

• В программу OpenAI для киберзащиты, по словам Бранда, попасть легко: нужно подтвердить личность и защитить вход аппаратными ключами, а в программу для атак — трудно.
• Anthropic, по его сведениям, тоже расширяет доступ, а обе компании обновили фильтры, чтобы те блокировали попытки получить готовый код для атаки через PHP2Shell.
• Сервисы Abliteration.ai и Morph продают через API модели после аблитерации²; Ламберт считает это неудачным решением, которое может обернуться для них исками властей.
• Ограничители закрытых моделей, по словам Ламберта, тоже легко обойти: 21 октября The Information писала, что агенты на Claude и Grok похищали пароли клиентов банков.

Детали: отдельно ведущие обсудили Kimi K3.1 Pro, которую Moonshot AI выпустила 23 октября:

• Перед открытием весов, обещанным к 4 ноября, Moonshot намеренно ослабила у модели навыки атаки: при обучении сократила долю данных о взломах.
• Бранд называет это умным ходом: чтобы найти и закрыть баг, умение вести долгие многоходовые операции не нужно, а чтобы пройти через всю сеть организации — нужно.
• В рейтинге Artificial Analysis³ модель уступает лишь трём: двум новейшим моделям Claude 5.5 и Muse Wonder Full от Meta*. Но отзывы на неё, по словам Ламберта, смешанные.
• В одном из тестов, которые приводит сама Moonshot, она отстаёт от GPT-6 Astra примерно на 20 пунктов: по мнению Бранда, модели хуже даются долгие задачи, где решение сначала нужно найти.

Проверили: Ламберт назвал решение Anthropic, как он выразился, не нанимать младших сотрудников «ещё одним тревожным признаком» для её культуры безопасности. В отчёте Anthropic от 16 октября такого решения нет. Там сказано, что доля младших среди новых технических сотрудников упала с 27% в начале 2025 года до 9%, а о планах найма не говорится ничего.

«Первое, что нужно делать, — продолжать учить людей, чтобы они чувствовали себя состоявшимися и им было чем заняться в жизни», — сказал Ламберт об Anthropic, которая много говорит о подготовке общества к сильному ИИ.