Модели заменили людей в опытах с объяснениями ИИ и в целом сошлись с ними

Исследователи JPMorgan Chase проверили, может ли ИИ-модель подменить человека в опытах, где выясняют, какое объяснение решений ИИ полезнее. Они повторили пять опубликованных опытов, поставив на место участников 14 моделей. В большинстве опытов модели расставили объяснения в том же порядке, что и люди.

Почему это важно: у исследователей объяснимого искусственного интеллекта¹ нет дешёвого и надёжного способа проверить, помогает ли объяснение человеку. Если модели воспроизводят выбор людей, слабые методы можно отсеять заранее, а на живых участниках проверять только лучшие.

Общая картина: обычно объяснения оценивают формальными метриками. Возьмём совет, что поменять, чтобы модель решила иначе: его считают тем лучше, чем меньше признаков он затрагивает. Но такие советы часто невыполнимы или не убеждают людей им следовать. Опыты с участниками показывают настоящую пользу, однако они дороги, их трудно масштабировать и повторить.

Что проверяли: каждый из пяти опытов посвящён одной из задач, ради которых объяснения вообще нужны. Медики правили обучающие данные, чтобы повысить точность модели. Добровольцы учились по примерам угадывать уровень алкоголя в крови, угадывали доход человека по анкете и решали, верить ли подсказке ИИ. Ещё в двух опытах участники оценивали, готовы ли выполнить план, который превратит отказ в кредите в одобрение, и пойдут ли на фильм из рекомендаций. Модели получали те же задания с теми же видами объяснений. Чтобы они не вспоминали ответы из обучения, задачу про алкоголь заменили синтетической, с безымянными признаками.

Как это работает: сравнивали не сами баллы, а порядок: какое объяснение помогло больше всего, какое меньше. Авторы поясняют это на примере двух неточных термометров. Если ошибки у них близки, а разница температур велика, оба верно покажут, где теплее.

В цифрах: совпадение с людьми мерили коэффициентом ранговой корреляции Спирмена: 1 — тот же порядок, 0 — никакой связи. В среднем лучше всего модели совпали с людьми в опыте с фильмами, а меньше всего устойчивых совпадений оказалось в улучшении модели:

• С фильмами у всех 14 моделей коэффициент от 0,41 до 0,9, выше всех — у GPT-5 mini и o4-mini.
• В кредитной задаче все модели, как и люди, охотнее соглашались на планы, где меньше нужно менять.
• В обучении у 13 моделей из 14 порядок в целом совпал с людским, у восьми — в точности: лучше всего учили примеры того, что изменить, чтобы ответ стал другим.
• В улучшении модели связь положительная у 12 моделей из 14, но устойчивой она оказалась лишь у пяти.

Детали: в целом ближе всего к людям оказались модели OpenAI и Qwen. Авторы исследования советуют пробовать эти модели первыми, но оговариваются, что многое зависит от задачи. Для начала, по их оценке, хватит сотни примеров: на такой выборке модели в среднем в 93,4% сравнений давали тот же порядок, что и на всех данных. Claude Sonnet 4.5 и Gemma 3 27B нужно было заметно больше примеров, а быстрее всех порядок устоялся у Gemma 4 31B.

Но: модели сбиваются, когда у людей разница между объяснениями мала или сами объяснения похожи. В задаче, где по биографии нужно угадать профессию, модели и без подсказок отвечали так точно, что объяснениям нечем было помочь. Часть исходных материалов не сохранилась, и авторы их восстанавливали. Например, из 21 вида объяснений в опыте с фильмами удалось повторить шесть, а кредитную задачу пришлось собрать на других данных.

Отказываться от опытов с людьми авторы не предлагают. По их замыслу, модели помогают выбрать несколько лучших объяснений, а их уже можно проверить на живых участниках. Код и ответы всех моделей выложены в открытый доступ.