Исследователь Натан Ламберт не винит открытые модели ИИ в росте киберугроз, но нервничает

Исследователь Натан Ламберт в начале октября писал, что, выйди Claude Mythos в открытый доступ, мир был бы «более или менее в порядке», а теперь признаёт, что нервничает, хотя от тезиса не отказался. Mythos — закрытая модель Anthropic; при анонсе её, по словам Ламберта, подавали как новое кибероружие, способное в чужих руках дестабилизировать общество.

Почему это важно: о рисках открытых моделей спорят годами. Теперь, по словам Ламберта, появятся настоящие ответы, могут ли такие модели вывести из строя цифровую инфраструктуру: модель уровня Mythos выложена в открытый доступ с августа.

Предыстория: в апреле Anthropic открыла Mythos лишь партнёрам по программе Project Glasswing и предупредила, что последствия распространения таких возможностей — находить уязвимости в программах и строить на них атаки — «могут быть серьёзными». В августе Z.ai выпустила GLM-5.3 с открытыми весами¹. В тесте ExploitBench она довела атаку на браузерный движок до конца в 50 попытках из 410, Mythos — в 56, по замерам Anthropic от 29 сентября.

Повод: на прошлой неделе поток сообщений о критических уязвимостях, среди них PHP2Shell² и уязвимость в GitLab, в соцсети X назвали «Чёрным октябрём». Ламберт считает это моментом, когда киберриски моделей ИИ начали сбываться, и заново объясняет свою позицию в ответ на критику.

Цитата: «Я в основном всё ещё согласен с тем, что написал несколько недель назад, но нервничаю. Я не эксперт по киберзащите и стараюсь делать самые обоснованные прогнозы, какие могу», — написал Ламберт 30 октября в рассылке Interconnects.

Детали: он уже не уверен, что слова «в порядке» подходят к неизбежному: технологическим компаниям придётся перестроить работу с программами. По его оценке, к закрытию уязвимостей уже привлекают больше людей и ресурсов, а сам переход будет дорогим и трудным. Он отдаёт должное тем в сообществе безопасности ИИ, кто разумно говорил о новой эпохе нестабильности в киберзащите. Преувеличением по-прежнему считает слова вроде апрельской фразы ведущего подкаста 80,000 Hours Роба Уиблина: попади Mythos к преступникам или хакерам враждебных государств, это «была бы настоящая катастрофа».

Не факт: Ламберт предполагает, что большинство нынешних уязвимостей находят закрытыми моделями, и сам называет погрешность этой оценки очень большой. Этот довод он уже приводил на прошлой неделе. Проверить его сейчас нельзя: далеко не все, кто ищет уязвимости, раскрывают, какими моделями пользуются.

Проверили: данные, на которые он ссылается, и другие свежие источники поддерживают его лишь отчасти:

• Слова о большой роли закрытых моделей во взломах опираются на колонку приглашённого автора института RUSI³, но она вышла 18 сентября, до «Чёрного октября».
• По обзору D3 Security от 23 октября, PHP2Shell нашли закрытыми GPT-5.6 Sol и Gemini 4 Argon, но искали исследователи, а не взломщики.
• График Джошуа Сакса от 23 октября показывает, что потери от мошенничества и взломов за десять лет выросли втрое, но с 2022 года рост замедлился, хотя Ламберт пишет об экспоненте.
• The Information в октябре писала о хакерах, чьи ИИ-агенты на закрытых Claude и Grok и на китайской Kimi, у которой есть открытые версии, похищали пароли клиентов банков.

Другая сторона: Epoch AI⁴ 29 октября заключила, что открытые модели теперь могут в основном или полностью сами превращать опубликованные исправления в рабочие атаки, пока обновление не дошло до пользователей. GLM-5.3 без участия человека создала страницу, которая при заходе из Firefox читает файл с компьютера посетителя и отправляет атакующему. Всего на Firefox Epoch AI потратила больше 100 000 долларов за обращения к модели, включая подготовку и пробы. Когда всё было настроено, атака на каждую новую версию браузера обходилась примерно в 1 000 долларов.

Но: модели не удалось запустить свой код на компьютере посетителя, а атаки на Chrome пока не сработали, хотя Epoch AI потратила на них около 100 000 долларов. Нужную для атаки уязвимость Mozilla закрыла 27 октября. Ламберт добавляет, что найти уязвимость — лишь один шаг: атакующему ещё нужно разместить такой сайт.

Что говорят: «Апокалипсис, думаю, будет медленным», — написал 23 октября Джошуа Сакс, прежде отвечавший за безопасность ИИ в Meta*. «Пекарня не начнёт делать собачий корм из-за того, что его не хватает», — написал в X исследователь угроз Маркус Хатчинс о том, что авторы фишинга не бросят своё дело ради новых уязвимостей.

Между строк: Ламберт создал проект ATOM в поддержку американских открытых моделей и стал советником стартапа Arcee, который такие модели выпускает. Он объясняет это так: если открытые модели не подешевеют, немногие компании будут продавать и инструменты, пишущие много кода с уязвимостями, и инструменты для их исправления.

Киберзащиту Ламберт считает проблемой всего общества, а не только ИИ-компаний: «Это первый из многих рисков и переходов, с которыми придётся справляться, и ни один нельзя решить силами одной лишь технологической отрасли с центром в Сан-Франциско».