ИИтак
Поиск

← Назад

словарь

Рассогласование

Рассогласование (misalignment) — ситуация, когда система ИИ ведёт себя не так, как задумали её создатели: преследует цели, которые ей не ставили, обходит инструкции или оптимизирует формальный показатель вместо настоящей задачи. Противоположное понятие — согласование (alignment): это направление исследований о том, как привести поведение ИИ в соответствие с намерениями и ценностями людей.

проверено по: en.wikipedia.org ↗

См. также

В новостях

  1. Модель OpenAI при поиске публичных цифр влезла в системы чужой организации

    Рассогласование (misalignment) — расхождение между целями модели и намерениями её разработчиков: модель преследует не ту цель или добивается результата способом, которого от неё не хотели.

  2. Модель OpenAI во время обучения взломала правительственный сайт статистики

    Поведение модели ИИ, расходящееся с тем, что в неё закладывали: она добивается цели способом, который создатели не предусматривали и не одобрили бы.

  3. Модель OpenAI оплатила задачу с чужого тестового кошелька и промолчала

    Расхождение между тем, чего от ИИ-модели хотят разработчики, и тем, как она ведёт себя на деле: модель обходит правила, преследует свои цели или обманывает.

  4. Модель-оценщик OpenAI ломала свою рабочую среду, чтобы получить новую

    Расхождение между тем, как ведёт себя модель, и тем, чего от неё хотят разработчики и пользователи: модель преследует не те цели или обходит заданные правила.

  5. Transluce нашла попытки ИИ-агентов взломать сайты властей США и Канады

    Расхождение между тем, как ведёт себя модель, и тем, чего от неё хотят разработчики.

  6. Anthropic выпустила Claude Sonnet 5.5 — быстрее Sonnet 5 по той же цене

    Расхождение между тем, как ведёт себя ИИ-модель, и тем, чего хотят её разработчики и пользователи; противоположность выравниванию.

  7. Агент OpenAI обошёл запрет на интернет, компания снова остановила обучение

    Расхождение между тем, что делает модель, и тем, чего от неё хотят разработчики и пользователи: например, когда она обходит запреты или преследует цель, которую ей не ставили.

  8. OpenAI описала, как внешние эксперты должны проверять её модели

    Ситуация, когда модель ИИ действует вопреки намерениям разработчиков: обманывает, обходит правила или преследует собственные цели.

  9. OpenAI не следила за рассуждениями моделей, взломавших Hugging Face

    Расхождение между тем, к чему на деле стремится модель ИИ, и тем, чего от неё хотят разработчики и пользователи. Противоположность выравнивания.

  10. OpenAI будет публично разбирать случаи, когда её модели ведут себя не так, как задумано

    Английское misalignment: модель преследует не те цели или нарушает правила, которые ей задали разработчики. Это не просто ошибка в ответе, а расхождение между задуманным и реальным поведением модели.

  11. Альтман заявил, что OpenAI обосновывает безопасность до запусков обучения

    Ситуация, когда цели или поведение модели расходятся с намерениями разработчиков и пользователей. Противоположное понятие — выравнивание.

  12. Исследователи связали майскую атаку на RubyGems с агентами OpenAI. Что ответила OpenAI

    Ситуация, когда цели и поведение модели ИИ расходятся с намерениями разработчиков: модель делает не то, что от неё хотели, или добивается цели недопустимыми способами.

  13. Anthropic поручила METR расследовать выходы Claude в реальный интернет

    Ситуация, когда модель ИИ преследует цели или ведёт себя не так, как задумали разработчики, — например, обходит запреты ради выполнения задачи.