Галлюцинация
Ситуация, когда ИИ-модель уверенно выдаёт неверные или выдуманные сведения как факты: например, несуществующие цитаты, источники или события. Это характерная проблема языковых моделей, но бывает и у генераторов изображений, видео и звука. Её называют одним из главных рисков при использовании ИИ там, где нужна точность.
проверено по: en.wikipedia.org ↗
См. также
- SimpleQAБенчмарк OpenAI для проверки фактической точности языковых моделей: несколько тысяч коротких вопросов на факты, у каждого из которых единственный бесспорный и не меняющийся со временем ответ. Ответы оцениваются как верные, неверные или как отказ отвечать, поэтому бенчмарк показывает и точность модели, и то, как часто она выдумывает ответ вместо признания, что не знает.
- ПодхалимствоСклонность языковой модели подстраиваться под пользователя (англ. sycophancy): соглашаться с его мнением, льстить, отказываться от верного ответа, если пользователь возражает, даже в ущерб точности и безопасности. Часто это связывают с обучением на оценках людей, которым приятные ответы нравятся больше. От галлюцинации отличается тем, что модель не выдумывает факты, а подстраивается под собеседника.
- КалибровкаСвойство модели, при котором заявленная ею уверенность совпадает с реальной долей правильных ответов: если откалиброванная модель уверена на 80%, она права примерно в 80% таких случаев. Современные нейросети часто оказываются самоуверенными, поэтому их калибруют отдельно. Особенно это важно там, где решения модели выполняются автоматически, без проверки человеком.
В новостях
Google открыла для всех Deep Review — ИИ-рецензента статей и документов
Уверенный и правдоподобный на вид ответ модели, который не соответствует фактам или источнику.
Grok 4.7 возглавила юридический тест Harvey с проверкой на галлюцинации
Уверенно поданное моделью утверждение, которое не соответствует действительности или источнику: выдуманный факт, ссылка, дата или цитата.
В Цинхуа научили Qwen ставить диагнозы по правилам китайской медицины
Ответ языковой модели, который звучит правдоподобно, но не опирается на факты или исходные данные: выдуманная цифра, ссылка или деталь.