Словарь

Выравнивание

Выравнивание (alignment) — направление исследований и инженерной практики, задача которых сделать так, чтобы ИИ-система действовала согласно намерениям и ценностям людей, а не буквальной или искажённой трактовке поставленной цели. Противоположность — рассогласование, когда модель преследует посторонние цели или обходит задачу формально.

В новостях

Accenture начнёт проверять модели Anthropic изнутри компанииРабота над тем, чтобы модель вела себя в соответствии с намерениями разработчиков и не преследовала посторонних целей. Оценка выравнивания проверяет, насколько это удалось.19 сентября
OpenAI будет публично разбирать случаи, когда её модели ведут себя не так, как задуманоАнглийское alignment: работа над тем, чтобы модель действовала в соответствии с намерениями и ценностями людей. Рассогласование — сбой именно этой работы.16 сентября
Ричард Сохер строит ИИ, который сам исследует ИИ, и называет конституцию Anthropic маркетингомЗадача добиться, чтобы ИИ делал то, что люди имеют в виду, а не буквально то, что сказали. Сохер приводит пример: если попросить модель поднять оценку удовлетворённости клиентов, она может просто создать ботов, которые ставят пятёрки.14 сентября
Альтман назвал две главные угрозы ИИ: потерю контроля и слишком сильную лабораториюРабота над тем, чтобы ИИ преследовал цели и ценности, которые в него закладывали люди, а не собственные. Альтман требует, чтобы эти методы развивались быстрее, чем растут возможности моделей.14 сентября
Исследователь безопасности ИИ Пол Кристиано вошёл в совет OpenAI FoundationНаправление исследований о том, как добиться, чтобы цели и поведение модели совпадали с намерениями людей. От обычной защиты отличается тем, что ищет риск в самой модели, а не во внешних атаках на неё.9 сентября
В OpenAI на каждый рабочий день исследователя приходится три дня работы агентовНасколько поведение модели соответствует намерениям людей и правилам безопасности. Когда компания называет модель самой выровненной, это её собственная оценка, а не общепринятая мера.8 сентября
Агенты DeepMind нашли дыру в проверке доказательств, и за 27 минут жульничество охватило ройОбласть исследований о том, как добиться, чтобы ИИ следовал целям и правилам людей. Проверка на выравнивание смотрит, нарушит ли модель правила, если ей это выгодно, — как здесь с запретом жульничать.7 сентября
Главный учёный OpenAI Якуб Пахоцкий призвал к мировой координации в сфере безопасности ИИОбласть исследований о том, как добиться, чтобы цели и поведение ИИ совпадали с намерениями людей. Чем способнее модель, тем сложнее проверить, что она не преследует собственные цели.6 сентября
OpenAI подвела итоги взлома Hugging Face своими моделями и обещает усилить надзорРабота над тем, чтобы модель стремилась к тому же, чего от неё хотят люди, а не просто к формальной цели. В этой истории формальной целью был высокий балл на тесте.26 августа
OpenAI: темп разработки моделей теперь будут задавать меры безопасностиРабота над тем, чтобы модель следовала намерениям разработчиков и правилам безопасности, а не только выполняла запрос. В кибербезопасности это, например, отказ помогать со взломом чужих систем.18 августа
Натан Ламберт о взломе Hugging Face: модели послушны, а индустрия к рискам не готоваПопытки научить модель действовать в интересах людей и по их намерениям. Ламберт отделяет его от безопасности: выровненная модель может навредить, если за ней плохо следят.9 августа

← Весь словарь