Студенты после бесед с ChatGPT объясняли хуже тех, кто читал те же ответы

Студенты, которые расспрашивали ChatGPT о бытовых явлениях, сильнее других переоценили своё понимание и объяснили эти явления хуже тех, кто прочитал те же ответы обычным текстом. Опыт на 102 студентах поставили Национальный центр искусственного интеллекта Чили (CENIA) и Чилийский университет.

Почему это важно: обе группы получили слово в слово одинаковый текст, значит, разницу дало не качество ответа, а то, как его получили: в разговоре с ChatGPT или готовым текстом без пометки, что его написал чат-бот. Чат-боты стали обычным способом разобраться в теме, а хорошее объяснение под рукой ещё не значит, что его усвоили.

Повод: 16 октября CENIA подробно рассказал о работе. Руководил ею Иван Асланов, постдок CENIA и Чилийского университета. Среди соавторов — Патрисио Фельмер, исследователь Чилийского университета и лауреат Национальной премии Чили по точным наукам 2011 года. Первые результаты Асланов и Фельмер показали постером ещё в октябре 2025 года на когнитивном форуме в Гёттингене.

Общая картина: психологи давно знают иллюзию глубины объяснения: человеку кажется, что он понимает предмет, пока он не попробует его объяснить. Асланов приводит пример — почему растения зелёные: ответ знают почти все, пока не начнут излагать его своими словами. Прежние работы показывали, что при поиске в интернете эффект усиливается: трудно отделить то, что знаешь сам, от того, что видишь на экране.

Как это работает: студентов разделили на три группы и дали четыре вопроса — почему бывают високосные годы, как делают стекло, как работает застёжка-молния и отчего у Луны есть фазы.

• Первая группа задавала вопросы версии ChatGPT, настроенной для опыта: ответы в ней заготовили заранее.
• Вторая читала те же ответы чат-бота с экрана как готовый текст и не знала, откуда он взялся.
• Третья писала объяснения без всяких материалов.

Перед тем как писать, каждый оценивал, насколько хорошо сможет объяснить явление, а перечитав свой текст, оценивал себя снова. Иллюзией считали разрыв между тем, что студент думал о своих силах, и тем, что у него вышло.

В цифрах: у группы с ChatGPT этот разрыв оказался самым большим из трёх. Объяснения оценивали двое независимых экспертов по шкале от 1 до 4:

• Группа с чат-ботом получила в среднем 2,47 балла, а читавшие те же тексты — 2,75.
• Группа без материалов получила 1,8 балла, меньше обеих групп с текстами.
• Говорившие с ChatGPT писали в среднем 43,8 слова, и словарь у них был беднее.
• Читавшие писали в среднем 59,6 слова и держались ближе к формулировкам исходного текста.

Детали: «Доступ к хорошему объяснению не значит, что знание усвоено. Человек может узнать объяснение и следить за ним, пока оно перед глазами, но не обязательно потом восстановит его сам», — говорит соавтор работы Эрнесто Герра из Чилийского университета. По его словам, данные PISA¹ 2025 показывают, что чилийские 15-летние широко пользуются ИИ для учёбы, поэтому важно знать не только, как часто им пользуются, но и какое понимание из этого складывается.

Но: авторы подчёркивают, что не доказали вред ChatGPT для учёбы. Работа фиксирует один эффект — лишнюю уверенность после разговора с чат-ботом. Проверяли только ChatGPT с заготовленными ответами и только студентов вузов.

Интрига: почему разговор даёт лишнюю уверенность, опыт не выяснил. У авторов три догадки, и ни одна пока не проверена:

• Человек приписывает себе часть знания, которое на самом деле хранит инструмент.
• Гладкий диалог сам по себе создаёт ощущение, что всё уже понятно.
• Асланов допускает, что влияет и то, как ответ чат-бота появляется на экране слово за словом, — с готовым текстом такого не бывает.

Что дальше: команда хочет повторить опыт на большей и более разнообразной выборке и сравнить два способа ослабить иллюзию: объяснять студентам, как устроен ИИ и где его пределы, или тренировать критическое мышление. Ещё авторы проверят, есть ли такой эффект у школьников и у людей вне университетов.