Экзистенциальный риск
Экзистенциальный риск — угроза, реализация которой означала бы гибель человечества или необратимую утрату его потенциала, в отличие от пусть и крупной, но поправимой катастрофы. В дискуссиях об ИИ так называют сценарии, где развитие сверхмощных систем ведёт к потере людьми контроля над своим будущим.
проверено по: en.wikipedia.org ↗
См. также
- Ник БостромШведский философ, известный работами об экзистенциальных рисках, этике будущих технологий и сверхинтеллекте. Основал и много лет возглавлял Институт будущего человечества в Оксфордском университете; автор книг «Суперинтеллект» и «Глубокая утопия».
- СверхинтеллектГипотетический интеллект, чаще всего искусственный, который значительно превосходит человека почти во всех интеллектуальных областях: в науке, стратегическом планировании, творчестве и социальных навыках. От сильного ИИ (AGI) отличается тем, что AGI обычно понимают как ИИ, сопоставимый с человеком, а сверхинтеллект — как намного его превосходящий. Второе название — суперинтеллект (superintelligence).
- Future of Life InstituteАмериканская некоммерческая организация, которая стремится снизить крупномасштабные и экзистенциальные риски от преобразующих технологий — прежде всего ИИ, а также биотехнологий и ядерного оружия. Она выдаёт гранты, ведёт просветительскую работу и добивается регулирования в США, Евросоюзе и ООН. Среди основателей — физик Макс Тегмарк и программист Яан Таллинн; организация известна Асиломарскими принципами ИИ.
- РассогласованиеРассогласование (misalignment) — ситуация, когда система ИИ ведёт себя не так, как задумали её создатели: преследует цели, которые ей не ставили, обходит инструкции или оптимизирует формальный показатель вместо настоящей задачи. Противоположное понятие — согласование (alignment): это направление исследований о том, как привести поведение ИИ в соответствие с намерениями и ценностями людей.
- Общий искусственный интеллектОбщий искусственный интеллект (artificial general intelligence, AGI) — гипотетическая система ИИ, которая справляется практически с любыми интеллектуальными задачами на уровне человека или лучше. В отличие от узкого ИИ, который хорошо решает только заданные задачи, общий искусственный интеллект сам переносил бы знания между областями и решал новые задачи без перенастройки. Создание общего искусственного интеллекта — заявленная цель ряда лабораторий, в том числе OpenAI и Google DeepMind.
В новостях
Восемь штатов подали иски к OpenAI из-за вреда ChatGPT детям, пишет Reuters
Риск событий, способных уничтожить человечество или необратимо подорвать его будущее. В спорах об ИИ — опасение, что неподконтрольный сверхразумный ИИ станет такой угрозой.