Голосовой ИИ-репетитор стоил в 2,8 раза дороже текстового и учил не лучше

Эксперимент в онлайн-программе MBA Бостонского университета показал: ИИ-репетитор на GPT-5.4 улучшает результаты студентов, а голосовой режим учит не лучше текстового. Об этом говорится в статье исследователей, опубликованной на arXiv¹.

В эксперименте участвовали 86 слушателей курса корпоративных финансов. Их случайным образом разделили на две группы. Первая получила репетитора, который опирался только на лекции, материалы для чтения и задачи курса. Он сначала задавал вопросы и заставлял студента решать самому, а не выдавал готовые ответы.

Вторая группа училась как обычно и могла свободно пользоваться чат-ботами. В разные недели к ним обращались от 21 до 42% её участников. План исследования авторы заранее зарегистрировали на платформе OSF².

Студенты с репетитором прибавили на 6,63 балла из 55 больше, чем сверстники с сопоставимым уровнем подготовки. Главный прирост пришёлся на письменные ответы. Доля ответов, где отдельные тезисы связаны в цельное рассуждение, в группе с репетитором выросла с 8 до 49%, в контрольной — с 8 до 27%.

Итоговый экзамен преподавателя курса показал то же направление: разница составила 2,6 балла из 100. На промежуточном экзамене до начала эксперимента группы не различались.

Внутри группы с репетитором голос и текст чередовались по неделям. В голосовые недели поле для ввода текста отключалось. В голосовом режиме студенты почти вдвое чаще обменивались репликами с репетитором и в 2,4 раза чаще задавали вопросы за то же время. К концу курса многие стали предпочитать голос.

При этом недельные результаты в двух режимах оказались статистически неотличимы. Голосовые занятия обошлись в 2,8 раза дороже текстовых.

«Если сделать ИИ более похожим на человека, это само по себе не сделает его полезнее для учёбы», — пишут авторы. Оба теста, до и после эксперимента, прошёл 51 студент из 86.

Ранее в эксперименте со старшеклассниками свободный доступ к GPT-4 ухудшил результаты экзамена без ИИ, а версия с педагогическими ограничениями этого вреда не давала. Данные по более чем 26 000 китайских школьников показали, что генеративный ИИ повышает оценки за домашние задания, но снижает результаты экзаменов.