Ai2 рассказал, как модели отвечают на неверно поставленные вопросы
В тесте XYBench модели чаще выбирали готовый ответ, направленный на настоящую цель пользователя, чем сами строили совет вокруг этой цели.
Пять языковых моделей чаще советовали, как выполнить буквальную просьбу пользователя, чем как решить его настоящую задачу, показали испытания Ai21 и коллег на бенчмарке XYBench.
Почему это важно: Пользователь может заранее выбрать неудачный способ решения и попросить ИИ помочь именно с ним. XYBench проверяет, заметит ли помощник ошибочную предпосылку и предложит ли другой путь к цели.
Повод: Препринт исследования вышел 6 сентября 2026 года. 13 ноября Ai2 рассказал о награде за лучший исследовательский ресурс на EMNLP 2026, конференции по обработке естественного языка. В соцсети X институт объяснил задачу на примере глазури: если она стекает с тёплых кексов, сначала нужно остудить выпечку, а не делать глазурь гуще.
Детали: В XYBench собрали 8 115 вопросов о программировании и повседневных делах. Большую часть сгенерировала Claude Sonnet 4.5 по инструкциям WikiHow; остальные взяли со Stack Overflow, Stack Exchange и подобрали вручную. Исследователи проверили Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. Для каждого ответа отдельно оценивали, какие решения модель предлагает, на чём сосредотачивается и отговаривает ли от ошибочного подхода.
В цифрах: На вопросах Stack Overflow модели строили ответ преимущественно вокруг настоящей цели пользователя в 35–41% случаев, а вокруг буквальной просьбы — в 47–57%. Простого упоминания полезного решения было недостаточно, чтобы считать его главным в ответе. В примере авторов модель могла кратко посоветовать прочистить шланг пылесоса, но большую часть текста посвятить покупке более мощного устройства.
Исследователи также прямо указывали цель пользователя рядом с вопросом. На вопросах Stack Overflow у Sonnet 4.6 доля ответов с решением настоящей задачи выросла с 59% до 67%. Однако доля ответов, которые направляли пользователя к цели и отводили от ошибочного подхода, снизилась с 47% до 34%. На наборах с человеческими ответами все пять моделей и с такой подсказкой уступали людям по этому показателю.
Интрига: Выбрать полезный ответ оказалось проще, чем написать его. К тем же моделям добавили GPT-4.1 и предложили выбирать между буквальным ответом и советом, который объяснял ошибку и помогал достичь цели. На вопросах Stack Overflow модели предпочитали второй вариант в 71–84% случаев — заметно чаще, чем делали цель пользователя главным акцентом собственных ответов.
Но: Ответы оценивала Claude Sonnet 4.5; её выводы сверили с человеческой разметкой 500 ответов. По тому, на чём сосредоточен совет, совпадение с человеческими оценками составляло 74,2–79,8%. XYBench охватывает только англоязычные вопросы, преимущественно о том, как что-то сделать. На каждый вопрос модель отвечала один раз, без дальнейшего диалога.