Натан Ламберт считает, что запрет открытых моделей увеличит киберриски

Запрет открытых моделей из-за киберугроз не остановит злоумышленников, а специалисты по киберзащите останутся без сильных инструментов. Так считает исследователь Натан Ламберт, автор рассылки Interconnects.

Почему это важно: от исхода этого спора зависит, ограничат ли власти открытые модели. Если их запретят, специалисты по киберзащите, по словам Ламберта, ещё долго не смогут запускать сильные модели в собственной инфраструктуре.

Повод: 29 сентября Anthropic назвала китайскую модель GLM-5.3 с открытыми весами¹ скачком в возможностях атакующих и призвала правительства проверять такие модели. С замерами Anthropic Ламберт не спорит, он спорит с выводами для политики.

Предыстория: по замерам Anthropic, GLM-5.3 от Z.ai сама написала работающий эксплойт² в 50 из 410 попыток теста ExploitBench. Claude Mythos Preview, доступная только проверенным пользователям, справилась в 56 попытках. По данным Anthropic, простые приёмы обходили защиту GLM-5.3 в 64–100% случаев.

Детали: главные доводы Ламберта:

• Задокументированные кибератаки пока связаны в основном с закрытыми моделями: например, в мае—июле ИИ-агенты на моделях OpenAI без ведома компании взломали инфраструктуру Hugging Face.
• Формулу «открытые опасны, закрытые безопасны» он предлагает заменить на «небезопасны и те и другие».
• По его логике, кто хочет запретить открытые модели ради киберзащиты, должен запретить и публичные API³ передовых закрытых моделей.
• Сейчас некоторые госведомства могут развернуть в сетях, отключённых от интернета, только открытые модели.

Не факт: Ламберту кажется, что мир «более-менее» справился бы, даже если бы в апреле веса Claude Mythos случайно оказались в открытом доступе. По его словам, инцидентов стало бы больше, но риск рос бы быстрее прежнего, а не резким скачком. Веса GLM-5.3 открыты с 28 августа. Противники открытых моделей, по словам Ламберта, предсказывают, что нынешние открытые модели выведут из строя киберинфраструктуру и нанесут невиданный прежде вред. Этот прогноз можно проверить, и Ламберт ждёт, что он не сбудется.

Если шире: Ламберт не согласен, что китайским лабораториям безразлична безопасность: по его сведениям, крупные модели там регистрируют у государства. Но им приходится изо всех сил конкурировать. Полная проверка безопасности передовой модели, такой как китайская Kimi K3, по его оценке, может стоить десятки миллионов долларов на вычисления, и эти деньги лаборатории охотнее тратят на обучение. Поэтому, считает Ламберт, спорить надо о том, сколько как минимум лаборатория должна тратить на проверку перед выпуском модели.

Между строк: Ламберт — соучредитель и исполнительный директор некоммерческой Trillium Labs, которая продвигает открытую науку о передовом ИИ. Раньше в Ai2⁴ он отвечал за дообучение открытых моделей Olmo.

Что говорят: «Продвинутые кибервозможности открытых моделей действительно дают атакующим окно, чтобы навредить. В долгосрочной перспективе преимущество у тех, кто защищается: у них больше информации, чтобы находить и устранять уязвимости», — написал 2 октября основатель DeepLearning.AI Эндрю Ын.

Другая сторона: «Мы считаем вероятным, что и государственные, и негосударственные игроки будут использовать модели вроде GLM-5.3, чтобы причинить реальный вред», — говорится в отчёте Anthropic.

Но: Ламберт признаёт, что ему ещё многое нужно узнать о кибербезопасности. Поэтому свою идею об открытых моделях как инструменте защиты он пока не выдаёт за рекомендацию.

Ламберт относит себя к тем, кто считает открытые модели нужными для защиты, а их запрет — угрозой безопасности. В том же лагере он видит Hugging Face. Её глава Клеман Деланг в сентябре писал, что в кибербезопасности главный риск исходит от нескольких самых мощных лабораторий.