Ламберт: уход одного исследователя разжёг страх перед вымиранием от ИИ

Натан Ламберт в Interconnects разбирает «по-настоящему странную неделю». Исследователь Джейкоб Коксон ушёл с работы, сославшись на риски ИИ, — для отрасли событие привычное. Но на этот раз разговор об экзистенциальном риске и массовом вымирании разошёлся дальше, чем могли предположить даже самые опытные наблюдатели.

Ламберт объясняет это метафорой костра. Годами люди, предупреждавшие о рисках ИИ, «чиркали спичками», но искры гасли на сырой земле: остальному миру было не до того. В этом году ставки выросли — инцидент между OpenAI и Hugging Face, прорывы вроде результата OpenAI по задаче об уравнениях Навье — Стокса, — и земля подсохла. А страх — самая простая история, от которой трудно оторваться, так что уход Коксона вспыхнул как лесной пожар. В обсуждении звучала и оценка исследователя Эвана Хубингера: вероятность вымирания человечества — больше 10%.

Сам Ламберт считает вероятность полного вымирания настолько низкой, что её не стоит обсуждать, а вот катастрофы по вине ИИ — атаки на критическую инфраструктуру или биологические угрозы — обсуждать надо. Он недоволен и расплывчатостью выражения «экзистенциальный риск»: разные люди вкладывают в него очень разное.

Коксона Ламберт защищает: тот действовал искренне и с добрыми намерениями, а попытки сделать из него козла отпущения, копаясь в его аккаунте и личной жизни, ничего не дают. По мнению автора, это была не политическая кампания, а удачно согласованная работа с прессой: у Wall Street Journal был эксклюзив, в тот же день Даниэль Кокотайло появился в подкасте Джо Рогана. Но никто, включая самого Коксона, не ожидал, что история так разойдётся. Заодно Ламберт пишет, что многие сотрудники ведущих лабораторий, особенно Anthropic, оторваны от внешнего мира, и это искажает их прогнозы.