Модели ИИ сильнее людей предпочитают тексты с подписью «человек»

Языковые модели оценивали одни и те же литературные тексты и в 2,5 раза сильнее людей склонялись к варианту с подписью «человек». Это показал эксперимент Принстонского университета.

Почему это важно: модели всё чаще сами ставят оценки: проверяют сочинения, отбирают резюме, судят творческие тексты. Как показал опыт, одна подпись автора может перевернуть вердикт модели-судьи¹.

Повод: первая версия работы вышла в октябре 2025 года под названием «Все предпочитают писателей-людей, включая ИИ». В начале сентября Воутер Хаверальс и Мередит Мартин выложили версию, переработанную после рецензирования. У неё новое название и добавлен подсчёт того, как часто модели меняют доводы вслед за подписью.

Как это работает: материалом стали «Упражнения в стиле» французского писателя Раймона Кено 1947 года — 99 пересказов одной истории о стычке в автобусе в разных стилях. Авторы взяли 30 упражнений в английском переводе Барбары Райт, а GPT-4 переписала ту же историю в тех же стилях. Оценщик выбирал, какой из двух вариантов лучше передаёт стиль: без подписей, с верными подписями или с переставленными.

В цифрах: так часто 556 человек и 13 моделей выбирали вариант GPT-4:

• Вслепую его предпочли в 55% ответов люди и в 49% — модели, то есть примерно наравне с Кено.
• С верной подписью «ИИ» доля упала: у людей до 48%, у моделей до 30%.
• Когда текст GPT-4 выдали за перевод Кено, его выбрали в 62% ответов люди и в 64% — модели.
• Разница между подписями составила 14 процентных пунктов у людей и 34 у моделей, перекос нашёлся у всех 13 моделей.

Интрига: в «Липограмме» нельзя писать букву e. У Кено в переводе Райт её нет ни разу, а у GPT-4 она встретилась девять раз. С верной подписью модели выбирали этот текст в 29% прогонов, а когда его приписали человеку — в 64%. Люди поступили наоборот: с подписью Кено текст с ошибками выбрали 18% участников, с верной подписью — 39%.

Детали: вместе с выбором модели меняли и доводы.

• В «Кокни», упражнении на лондонском просторечии, модели выбирали текст GPT-4 в 23% случаев, а с подписью «человек» — в 90%.
• Перевод Райт с подписью «ИИ» Claude Sonnet 4 назвала «почти непонятным», а Qwen 2.5 72B — «карикатурным».
• Выдуманное Кено слово «astrohelicoptering» Claude Sonnet 4 сначала хвалила как примету настоящей фантастики, а после смены подписей назвала лишним и отвлекающим от сюжета.
• В 5 846 парах одинаковых сравнений модели меняли выбор в трети случаев. Там, где довод менял сторону, в 85–97% случаев он оборачивался в пользу текста с подписью «человек».

Если шире: во втором опыте 14 моделей писали свои версии и судили друг друга. Кто бы ни написал текст, перекос составил 26 процентных пунктов. Нейтральные подписи и даже вариант «написал ИИ, отмеченный наградами» картину не изменили.

Между строк: авторы предполагают, что модели унаследовали человеческое недоверие к машинному творчеству. По их версии, обучение с подкреплением на основе отзывов людей² приучает модели считать суждение человека эталоном. А слово «ИИ» в обучающих текстах часто соседствует с критикой.

Но: объяснения модели пишут уже после выбора, и авторы сами предупреждают, что по ним нельзя судить, как модель решала на деле. Опыты шли в апреле — июне 2025 года, и оценщиками были модели того времени, от GPT-3.5 Turbo до Claude Sonnet 4.

«Наши ИИ-оценщики научились разыгрывать то самое человеческое предубеждение, которое сомневается, способны ли машины по-настоящему творить», — пишут авторы.