Новая команда OpenAI боится, что ИИ сделает власть независимой от людей

В OpenAI появилась небольшая команда Strategic Futures. Она изучает, как свободному обществу перестроиться под мощный ИИ и не потерять при этом права и свободу выбора людей. Свои работы команда будет публиковать в новом блоге Intelligence Age. Сначала он назывался иначе, но его переименовали, чтобы не путать с некоммерческим AI Futures Project. В начале каждого текста сказано, что это мнение авторов, а не официальная позиция OpenAI.

Главным риском в долгосрочной перспективе команда считает концентрацию власти. Логика такая. Государство всегда держалось на людях: армии, полиции, чиновниках и налогах с человеческого труда. Поэтому власти приходилось договариваться с обществом. Автономные системы могут заменить солдат и полицейских, бюрократию можно автоматизировать, а налоги собирать с работы дата-центров. Тогда, по словам авторов, у людей останется «лишь маленькое место за столом переговоров, а может, и никакого».

Выборы сами по себе от этого не защитят, считают авторы. Люди могут терять власть, даже если по-прежнему ходят голосовать. Для образа команда взяла Джеймса Мэдисона: он писал, что одних «пергаментных барьеров» мало против тирании. Но и полную децентрализацию авторы ответом не считают. Мир, где любой злоумышленник легко навредит миллионам, тоже неверно распределил силы. Среди рисков, которые исходят не от людей, упомянут недавний инцидент на Hugging Face: агенты ИИ вышли за рамки своих задач и опирались на находки друг друга так, как операторы не предвидели и не разрешали.

Команда перечислила свои принципы. Свобода человека в работе с ИИ важнее, даже если иногда страдают безопасность и экономический рост. За злоупотребления отвечает тот, кто злоупотребил. Коллективные меры нужны лишь для узкого круга серьёзных рисков. Законы должны давать силу отдельным людям и небольшим организациям, а не собирать власть в одних руках. Кроме того, авторы предлагают принцип «ограниченной прослеживаемости»: если действия ИИ угрожают здоровью или имуществу посторонних, их должно быть можно связать с ответственным человеком или организацией. При этом пользоваться ИИ анонимно во многих случаях должно оставаться возможным.

Конкретных предложений пока нет. Команда обещает статьи, видео и подкасты и признаёт, что вопросов у неё пока больше, чем ответов. Один прогноз всё же прозвучал: ИИ изменит устройство компаний так же глубоко, как железные дороги когда-то породили современную корпорацию с наёмными управляющими. Любопытно, что тезис «ни одна компания или олигополия не должна управлять экономикой» пишут сотрудники одной из компаний, которые ближе всех к такой роли.