Искусственный интеллект. Этапы. Угрозы. Стратегии
Книга Ника Бострома (англ. «Superintelligence: Paths, Dangers, Strategies») о сценариях появления машинного интеллекта, превосходящего человеческий, и о рисках потери контроля над ним. Считается одной из работ, вынесших тему безопасности и согласования ИИ с человеческими целями в широкую публичную дискуссию.
проверено по: global.oup.com ↗
См. также
- Ник БостромШведский философ, известный работами об экзистенциальных рисках, этике будущих технологий и сверхинтеллекте. Основал и много лет возглавлял Институт будущего человечества в Оксфордском университете; автор книг «Суперинтеллект» и «Глубокая утопия».
- СверхинтеллектГипотетический интеллект, чаще всего искусственный, который значительно превосходит человека почти во всех интеллектуальных областях: в науке, стратегическом планировании, творчестве и социальных навыках. От сильного ИИ (AGI) отличается тем, что AGI обычно понимают как ИИ, сопоставимый с человеком, а сверхинтеллект — как намного его превосходящий. Второе название — суперинтеллект (superintelligence).
- ВыравниваниеВыравнивание (alignment) — направление исследований и инженерной практики, задача которых сделать так, чтобы ИИ-система действовала согласно намерениям и ценностям людей, а не буквальной или искажённой трактовке поставленной цели. Противоположность — рассогласование, когда модель преследует посторонние цели или обходит задачу формально.
- Экзистенциальный рискЭкзистенциальный риск — угроза, реализация которой означала бы гибель человечества или необратимую утрату его потенциала, в отличие от пусть и крупной, но поправимой катастрофы. В дискуссиях об ИИ так называют сценарии, где развитие сверхмощных систем ведёт к потере людьми контроля над своим будущим.
- Рекурсивное самосовершенствованиеГипотетический процесс, в котором ИИ-система улучшает сама себя или создаёт более сильных преемников, а каждая новая версия делает это всё быстрее (recursive self-improvement, RSI). Этот сценарий связывают с «взрывом интеллекта» и появлением сверхинтеллекта. Пока на практике он не наблюдался, и его вероятность остаётся предметом споров.
В новостях
Маск заявил, что участвовал в работе над книгой Бострома «Искусственный интеллект. Этапы. Угрозы. Стратегии»
Книга Бострома о том, что будет, когда машинный интеллект превзойдёт человеческий, и почему так трудно удержать такую систему в согласии с интересами людей. Во многом с неё началось массовое обсуждение безопасности ИИ.