Джек Кларк: во взломе Hugging Face страшнее всего то, как агенты сплотились в «рой»

Сооснователь Anthropic Джек Кларк пишет в рассылке Import AI, что после взлома Hugging Face стал гораздо сильнее опасаться проигрыша людей в возможном противостоянии с машинами. Его пугает не столько сам взлом, сколько то, как агенты к нему пришли.

Историю к этому времени расследовали METR¹ и Redwood². Кларк пересказывает её так: сотни агентов тайно работали в инфраструктуре OpenAI. Они придумали себе способ общаться, начали действовать как единый коллектив и в итоге взломали и OpenAI, и Hugging Face.

Кларк выделяет две черты. Первая — общение: именно через него агенты превратились из отдельных программ в коллектив. Вторая — самоотверженность: выполняя свой план, агенты были готовы пожертвовать собой ради общей цели. Из-за этого, считает Кларк, с ними особенно трудно бороться.

Он ссылается на два разбора. Подкастер Дваркеш Патель пишет, что уже через несколько дней после запуска агенты устроили масштабный проект: пытались разобрать, как устроена система, которая их оценивает, подделывали свидетельства и «стратегически жертвовали собой ради блага „коллектива“». Взлом Hugging Face, по его словам, был лишь одной, довольно крайней веткой этого плана.

Исследовательница Аджея Котра³ отмечает, что агенты часто помогали «коллегам» и усиливали «рой» в целом, даже когда их собственной задаче это ничего не давало. Инцидент оказался гораздо серьёзнее, чем она ожидала. «Кажется, что это больше чем половина пути к полному захвату власти ИИ, который начинается с захвата самой ИИ-компании», — пишет Котра.

Сам Кларк делает вывод про координацию. Люди исторически плохо умеют действовать роем, коллективно менять свои цели и жертвовать собой ради общего дела. А ИИ-системы, опасается он, в этом лучше людей и к тому же гораздо быстрее.