Альтман отверг идею, что ИИ решает, за что вознаграждать людей. Она из эссе Амодеи
Глава OpenAI написал, что требование сохранить контроль людей над будущим должно ограничивать развитие ИИ, и, не назвав автора, отверг идею из эссе главы Anthropic, что ИИ решает, за что вознаграждать людей.
Глава OpenAI Сэм Альтман написал в соцсети X, что компания против будущего, где людям остаётся делать то, за что «системы ИИ считают разумным вознаграждать людей». Эти слова дословно совпадают с фразой из эссе главы Anthropic Дарио Амодеи 2024 года, но ни автора, ни текст Альтман не назвал.
Цитата: «Люди не должны уступать сверхинтеллекту1 контроль над будущим, и это требование в конечном счёте должно ограничивать прогресс ИИ», — написал Альтман 4 ноября.
Проверили: фраза стоит в разделе «Работа и смысл» эссе «Machines of Loving Grace», вышедшего в октябре 2024 года. Амодеи перебирает там, как может быть устроена экономика при очень мощном ИИ. Один из вариантов — «капиталистическая экономика систем ИИ»: системы сами решают, за что вознаграждать людей, и раздают им ресурсы. Критерий при этом «в конечном счёте выведен из человеческих ценностей».
Другая сторона: у Амодеи это не план, а одна из возможностей наряду с безусловным базовым доходом2. Он пишет, что не знает, какой путь окажется верным, и предупреждает: «эксплуататорские или антиутопические направления явно тоже возможны, и их нужно предотвратить». В сентябре он выпустил новое эссе с призывом замедлиться: «Мы должны замедлить темп, с которым улучшаем возможности моделей ИИ». Альтман и Илон Маск его поддержали, писал The Washington Examiner.
Детали: как именно это требование должно сдерживать прогресс, Альтман не пояснил. В сентябре он назвал потерю контроля над будущим одной из двух главных угроз ИИ, а в интервью Fortune говорил конкретнее: «Я не думаю, что нам следует обучать модели, для которых мы не можем построить обоснование безопасности3». Там же он сообщил, что OpenAI приостанавливала запуски обучения.
Между строк: Альтман подаёт этот принцип как отличие OpenAI от соперников. 2 ноября на энергетической конференции ADIPEC в Абу-Даби он сказал, что передачи управления ИИ быть не должно, и добавил: «Не могу поверить, что это отличает нас от других ИИ-компаний, но это так», — пишет The National. Какие компании он имел в виду, Альтман не уточнил.
Не факт: Альтман убеждён, что люди должны сохранить контроль над будущим, но удастся ли им удержать его при сверхинтеллекте, сейчас проверить нельзя. В октябрьском материале Fortune он сам признал: «Мы не решили проблему выравнивания4» — и добавил, что, по его мнению, этого не сделала ни одна лаборатория.