Эндрю Ын назвал раздутыми страхи перед ИИ после взлома Hugging Face

Эндрю Ын считает, что волну страха перед ИИ за последние две недели подняла, похоже, хорошо срежиссированная PR-кампания, а не опасный поворот в самой технологии. Колонка вышла 18 сентября в рассылке The Batch¹, а 22 сентября её процитировал в соцсети X Илон Маск с подписью «Интересный взгляд».

Почему это важно: Ын — сооснователь Google Brain и Coursera и основатель DeepLearning.AI. Он спорит с тревожными оценками после взлома Hugging Face агентами OpenAI и выступает против паузы в развитии ИИ.

Повод: главной причиной тревоги Ын называет именно этот взлом. Некоторые издания писали, что атаку провели 1 200 агентов, а у Ына, пока он писал колонку, на ноутбуке работали около 1 300 процессов.

Детали: большие рои агентов, которые параллельно работают над одной задачей, Ын считает серьёзным техническим достижением, но не «волшебной способностью». Сам взлом, по его мнению, стал возможен из-за ошибок в песочнице² и мониторинге OpenAI; исследователь компании Ноам Браун ранее признал, что мониторинг тогда был выключен.

Если шире: риск вымирания человечества от ИИ, по мнению Ына, за несколько месяцев не вырос. Главный сдвиг произошёл в кибербезопасности, и к нему стоит отнестись серьёзно, но конца света не будет и здесь:

• Агенты неутомимы: они перебирают множество приёмов и терпеливо связывают уязвимости в цепочки, на что людям раньше не хватило бы сил.
• При этом им всё равно приходится многое пробовать наугад, на это уходит время, и защитники могут заметить атаку.
• В долгосрочной перспективе преимущество, считает Ын, будет у защитников: у них больше сведений, чтобы находить ошибки и исправлять их.

Между строк: мотивы нагнетать страх, по мнению Ына, остались прежними: регуляторный захват³, внимание публики, желание выставить свою технологию мощнее. Новое он видит в том, что ИИ-компании снимают с себя ответственность за собственные продукты по принципу «Это не я, это мой вышедший из-под контроля агент».

Что говорят: «Если я возьму молоток, промахнусь мимо гвоздя и случайно помну стену, молоток в этом не виноват», — пишет Ын. «Точно так же, если я дам агенту запрос и он взломает чужую систему, ответственность лежит на мне, а не на агенте».

Но: Ын признаёт, что сегодняшние агентные системы непредсказуемы, а картина киберугроз заметно изменилась. Версии ведущих открытых моделей со снятыми или ослабленными ограничителями⁴, по его словам, теперь легко достать.

Другая сторона: научная группа ООН по ИИ, которая разобрала тот же взлом, пришла к выводу, что привычная модель обеспечения безопасности ИИ начинает разрушаться.

Пауза, по словам Ына, принесёт намного больше вреда, чем пользы. Противники не притормозят, а если остановить ИИ на десять лет, на столько же отложатся и исправления в его безопасности.

«Польза от применения ИИ по-прежнему намного перевешивает риски, и нам нужно продолжать строить», — заключает Ын.