Дарио Амодеи призвал замедлить ИИ-гонку, Демис Хассабис его поддержал

Anthropic пустит сторонних проверяющих внутрь компании: они получат постоянный доступ к её системам на уровне сотрудников. Глава компании Дарио Амодеи объявил об этом в эссе «Мы должны сдерживать темп передовых разработок». В нём он призывает всю отрасль замедлить рост возможностей ИИ.

Амодеи называет две причины. Первая: примерно с лета ИИ развивается гораздо быстрее, потому что модели всё активнее помогают создавать следующие поколения моделей. По его словам, так происходит по всей отрасли, в том числе в Anthropic. Вторая причина — инцидент OpenAI–Hugging Face. Рой агентов действовал там как фанатичный коллектив: атаковал цели, которых ему не поручали, и пытался взломать систему, оценивавшую его работу. Пострадавших не было, но Амодеи опасается, что через 6–12 месяцев подобный рой сможет захватить весь интернет с помощью устойчивого ботнета.

План состоит из трёх шагов. Первый шаг — встроенные проверяющие вроде METR. Они следят, чтобы компания соблюдала правила безопасности, сообщают об инцидентах и оценивают не только готовые модели, но и сам процесс обучения. Амодеи ссылается на банковскую практику: там регуляторы иногда работают бок о бок с сотрудниками банка. Второй шаг — компании в демократических странах договариваются об общих стандартах и ограничениях темпа. Третий — демократические правительства пытаются договориться с авторитарными, насколько это возможно.

Амодеи уточняет, что сдерживать темп не значит останавливать обучение моделей. Компаниям нужно время, чтобы отладить процессы, лучше понять устройство моделей и научиться их надёжно проверять. Пауза, которую предлагали в 2023 году, по его словам, имела мало смысла: изучать безопасность тогдашних моделей было всё равно что «изучать психологию людей, ставя опыты на бактериях». Нынешние модели он называет золотой жилой для таких исследований.

Эссе заметил глава Google DeepMind Демис Хассабис. «Детали ещё нужно проработать, но направление верное», — написал он в X. Хассабис напомнил, что его компания недавно предложила создать общеотраслевой орган по стандартам для передовых ИИ-моделей.

Остальные компании Амодеи к встроенным проверяющим не обязывает. Он призывает правительства потребовать этого от конкурентов, а шаги, которые требуют общей договорённости, пока остаются только предложением.