Microsoft обучила ИИ-репетитора на симуляторах настоящих учеников

Microsoft Research вместе с Иллинойсским университетом построила StudentSim. Система учит языковую модель отвечать как конкретный ученик, с его ошибками, и менять ответ после подсказки ИИ-репетитора.

Почему это важно: понять, помогла ли подсказка ИИ-репетитора, сейчас можно лишь в исследованиях с живыми учениками, а они долгие и дорогие. Симуляторы показывают реакцию «ученика» прямо во время разработки, до испытаний с людьми.

Расклад: авторы опираются на идею Льва Выготского о зоне ближайшего развития — разнице между тем, что ученик умеет сам и что умеет с помощью. Значит, симулятор должен и отвечать на уровне конкретного ученика, и меняться после подсказки, а прежние подходы умеют только одно:

• Языковая модель в роли «младшеклассника, которому трудно даётся математика» меняет тон, но решает задачи на своём уровне, и репетитор кажется успешнее, чем есть.
• Модели отслеживания знаний¹ учатся на настоящих записях учеников, но многие из них не рассчитаны на подсказку, написанную обычным языком.

Как это работает: у одного ученика бывает всего несколько эссе или ответов, поэтому модель сначала учат на записях многих учеников по предмету — на типичных ошибках и на том, как ученики исправляются после подсказки. Затем её доучивают на записях одного ученика, и получается его личный симулятор.

Детали: бенчмарк² StudentSimEval проверяет симуляторы на 60 учениках в шахматах, письме на английском как втором языке и математике. StudentSim обошёл соперников во всех трёх предметах. В шахматах сходство с ходами конкретного игрока и готовность изменить ход после совета у моделей такие:

• Симулятор StudentSim набрал 0,52 и 0,91 — больше обоих соперников и по сходству, и по готовности исправиться.
• GPT-5.4 набрала 0,23 и 0,72: на советы она откликается, но надёжно повторять поведение конкретного ученика не умеет.
• Maia2, шахматная модель для предсказания ходов людей, набрала 0,45 и 0,27: ходы угадывает лучше GPT-5.4, но советов на обычном языке не принимает.

В цифрах: затем на симуляторе обучили шахматного ИИ-репетитора. Тот видел позицию и неверный ход реального ученика и писал совет, а награду получал, если исправленный ход симулятора становился сильнее по оценке шахматного движка Stockfish. Эксперты по шахматам, не зная, как обучен каждый репетитор, поставили его советам за точность:

• 90,5% — репетитору, которого учили на реакциях StudentSim; его же выше оценили за качество подсказок и подстройку под ученика.
• 75,7% — исходному репетитору, который учился только на готовых примерах, без обучения с подкреплением³.
• 71,6% — репетитору, которого учили на реакциях GPT-5.4 в роли ученика: это хуже, чем совсем без такого обучения.

Но: StudentSim — исследовательская система, а не продукт: в школах её нет, и заменять учителей она не должна. Репетитора на симуляторе пока обучили только шахматам. Авторы называют этот опыт проверкой идеи, а связь с тем, как учатся живые ученики, оставляют будущим исследованиям.

Препринт работы вышел 1 сентября, 12 октября Microsoft Research подробно рассказала о ней. Симуляторы учили на открытых обезличенных записях учеников, выложенных для исследований. Код обучения и протокол оценки открыты.