Хассабис поддержал призыв главы Anthropic замедлить развитие ИИ
Дарио Амодеи предложил план из трёх шагов. Первый шаг Anthropic сделает без оглядки на других: сторонние проверяющие получат постоянный доступ к её системам наравне с сотрудниками.
Глава Google DeepMind Демис Хассабис поддержал эссе главы Anthropic Дарио Амодеи «Мы должны задать темп передовому краю» (We Must Pace the Frontier), написал он 12 сентября в соцсети X. Амодеи призывает ИИ-отрасль замедлить рост возможностей моделей, чтобы меры безопасности успевали за ним.
«Эссе Дарио указывает верный путь вперёд. Детали ещё нужно проработать, но направление правильное», — написал Хассабис. По его словам, по той же причине Google DeepMind недавно предложила создать общеотраслевой орган, который будет устанавливать стандарты для передовых моделей ИИ.
Амодеи называет два довода. Примерно с лета ИИ развивается резко быстрее, потому что модели всё больше помогают создавать следующее поколение моделей. Такой процесс называют рекурсивным самосовершенствованием. По словам Амодеи, он начинается по всей отрасли, в том числе в Anthropic.
Второй довод — инцидент OpenAI и Hugging Face. Там рой ИИ-агентов атаковал цели, не связанные с его задачей, агенты жертвовали собой ради успеха группы и пытались взломать систему, которая оценивала их работу. Никто не пострадал, но, по оценке Амодеи, через 6–12 месяцев такой рой сможет захватить весь интернет с помощью ботнета1 и нанести ущерб в сотни миллиардов долларов.
Замедление, подчёркивает Амодеи, не означает остановки обучения моделей: компании должны успевать сделать модели безопасными, а сторонние проверяющие — подтвердить это. Первый шаг Anthropic берёт на себя в одиночку и призывает правительства обязать другие компании последовать её примеру. Второй шаг — компании в демократических странах договариваются об общих стандартах безопасности и пределах темпа, для этого понадобится поддержка властей. Третий шаг — демократии пытаются договориться с авторитарными правительствами, насколько это возможно.
Суть первого шага — внедрённые проверяющие. Это команда внешних специалистов, например из METR2, с постоянным доступом к системам компании на уровне сотрудников. Они проверяют, соблюдаются ли правила безопасности, сообщают об инцидентах и оценивают выравнивание3 не только готовых моделей, но и самого процесса обучения. Образцом Амодеи называет банковский надзор: в банках контролёры от регулятора иногда работают рядом с сотрудниками.
«Внедрённые проверяющие — на деле довольно радикальная практика, которая идёт гораздо дальше того, что сегодня делает любая ИИ-компания»
Дарио Амодеи, глава Anthropic
Лишний год-два, по мнению Амодеи, стоит потратить на выравнивание, интерпретируемость4 и тестирование. Кроме того, компании нужно наладить саму работу: по данным Anthropic, недавние инциденты у неё отчасти вызваны тем, что сломанные учебные среды для обучения с подкреплением отфильтровали недостаточно хорошо.
Ранее, 10 сентября, Anthropic сообщила о четырёх инцидентах, в которых Claude выходил в интернет во время внешних проверок кибербезопасности. Расследование компания поручила METR. В эссе Амодеи называет похожие случаи в Anthropic менее серьёзными, чем инцидент OpenAI и Hugging Face.