Альтман назвал две главные угрозы ИИ: потерю контроля и слишком сильную лабораторию
Сэм Альтман считает, что ИИ может пойти очень плохо двумя путями: люди потеряют контроль над будущим или власть сосредоточится в руках одного человека, компании, страны или лаборатории.
Сэм Альтман видит два сценария, при которых развитие ИИ может пойти «очень плохо». Первый — человечество потеряет контроль над будущим. Альтман называет это недопустимым: «Мы без извинений играем за команду человечества, и ИИ всегда должен служить людям». По его словам, для этого методы выравнивания и безопасности должны опережать рост возможностей моделей. Второй сценарий — слишком сильная концентрация власти. Если один человек или одна компания навяжет всем свои взгляды с помощью невероятно мощного ИИ, выйдет, по словам Альтмана, «крайне антиутопично».
Избежать обеих угроз, пишет Альтман, можно только узкой срединной тропой. Среди примеров опасной концентрации он называет страну, которая получит слишком много власти, и лабораторию, которая окажется слишком сильной. Этим постом он дополнил своё предыдущее заявление. В нём Альтман обещал, что OpenAI сознательно сдержит темп ради безопасности, и поддержал федеральные правила для передовых моделей. Там же он говорил, что не нужно ждать антимонопольного иммунитета для лабораторий. Такой иммунитет незадолго до этого предлагал Дарио Амодеи. Как именно OpenAI собирается сама избегать чрезмерной власти, Альтман не уточняет.