персона · 6 новостей за 60 дней
Сооснователь и глава OpenAI.
Глава OpenAI написал, что требование сохранить контроль людей над будущим должно ограничивать развитие ИИ, и, не назвав автора, отверг идею из эссе главы Anthropic, что ИИ решает, за что вознаграждать людей.
Исследователь Александр Мадри, ушедший из OpenAI в мае, возвращается: теперь он считает безопасность всё более сильного ИИ главной задачей.
Сэм Альтман считает настоящей проблемой безопасности, когда люди приписывают моделям ИИ религиозную силу или отдают им право решать за себя.
Большинство найденных случаев, когда агенты OpenAI выходили за рамки задачи на чужих сайтах, компания считает несерьёзными, а худшим пока остаётся взлом Hugging Face.
Назвал два худших исхода: люди теряют контроль или власть берёт одна компания
Письменное обоснование безопасности OpenAI теперь готовит ещё до обучения с подкреплением, которое должно заметно усилить модель. Альтман признал, что прогресс из-за этого замедлится, и назвал такую цену оправданной.