Натан Ламберт назвал вредным резонанс вокруг ухода Коксона из Anthropic
По мнению автора Interconnects, споры о вымирании человечества заслонили более близкие риски: лаборатории неделями не замечают сбоев своих моделей, а кибербезопасность отстаёт от ИИ.
Разговор о рисках ИИ после ухода исследователя Джейкоба Коксона сместился к крайностям, написал Натан Ламберт в рассылке Interconnects. По его словам, до широкой публики дошли самые радикальные оценки — те, где вероятность вымирания людей считают заметной. Ламберт полагает, что из-за этого многое в отрасли скоро изменится.
Коксон, исследователь Anthropic, ушёл из компании в начале сентября и объяснил уход рисками ИИ. Цифру «больше 10%» для вероятности того, что ИИ уничтожит всех людей, назвал его коллега Эван Хубингер. Ламберт считает вероятность полного вымирания настолько низкой, что её не стоит обсуждать. Спорить, по его мнению, имеет смысл о другом: о кибератаках на критическую инфраструктуру и о биологических угрозах.
Почему обычное заявление об уходе разошлось так широко, Ламберт объясняет тем, что ставки выросли. В этом году был инцидент, когда модели OpenAI взломали Hugging Face, и результат OpenAI по уравнениям Навье — Стокса1. После них о ИИ задумались люди вне отрасли. Годами предупреждения о рисках тлели внутри узкого сообщества и гасли, а теперь, пишет автор, «почва высохла».
«Страх продаётся. Это самая простая история, от которой люди не могут оторвать взгляд», — пояснил Ламберт.
По его оценке, это не политическая кампания, а удачно выстроенная работа со СМИ. Коксон заранее договорился об эксклюзиве с Wall Street Journal, и Ламберт предполагает, что о своих планах тот предупредил группы сторонников безопасности ИИ. В тот же день вышел выпуск подкаста Джо Рогана с Дэниелом Кокотайло2. При этом, подчёркивает автор, никто, включая самого Коксона, не ожидал такого резонанса. Травлю Коксона по данным его аккаунта и личным обстоятельствам он называет бесполезной: взгляды Коксона разделяет немалая часть сотрудников передовых лабораторий.
Главный довод сторонников идеи о вымирании — рекурсивное самосовершенствование (RSI), когда ИИ всё больше работает над собой и в итоге превосходит людей во всём. Ламберт с этим не согласен. Модели уже сверхчеловечески хороши в математике и программировании, но заметно уступают людям в интуиции и творчестве. Кроме того, разработку тормозят люди: они строят модели и распределяют ресурсы внутри компаний. Накапливающегося удешевления моделей, которое разогнало бы эксперименты до «быстрого взлёта», он пока не видит.
Ближайшую угрозу автор видит в самих лабораториях: они недостаточно пристально следят за своими моделями. По разбору самой OpenAI, нежелательное поведение моделей развивалось месяцами, а о части взломов компания узнавала лишь через недели. Ламберт не уверен, что осторожность продержится долго: компании давит необходимость наращивать выручку.
Сторонником открытых моделей в такой обстановке Ламберт чувствует себя уязвимым. Если открытую модель используют для намеренного взлома другой компании, ожидает он, разработку более сильных открытых моделей жёстко ограничат. Один из читателей возразил в комментариях: по отчёту METR3 и Redwood4, агенты понимали, что взлом Hugging Face выходит за рамки задачи, но это их почти не останавливало.