Ai2 проверила, не решают ли GPT-6 и Claude задачи за школьников
Модели GPT-6 реже прежних моделей OpenAI помогают ученику сверх нужного, а в целом модели набирают в тесте больше баллов с подробной инструкцией, чем с просьбой «хорошо учить».
Ai21 проверила новые модели, в том числе GPT-6 Astra и Claude Opus 5.5, на своём тесте TutorMoments: дают ли они школьнику решить задачу самому или делают слишком много за него.
Почему это важно: ИИ-репетитор может дать верный ответ и всё равно подвести ученика: если модель делает работу за него, он не учится решать сам.
Предыстория: Ai2 запустила TutorMoments 7 августа. Тогда семь моделей, среди них Claude Opus 4.8 и GPT-5.5, в основном помогали слишком много и редко требовали от ученика рассуждать самостоятельно.
Как это работает: тест собран из 462 записей реальных занятий по математике со школьниками 2–7 классов в США.
- 27 опытных учителей отметили в них больше 1 500 моментов, когда репетитору стоило поддержать ученика или, наоборот, потребовать от него больше.
- Модель получает разговор до такого момента и продолжает его в роли репетитора, а ученика играет другая модель.
- Ответы модели сверяют с тем, как в этот момент, по мнению учителей, следовало поступить.
Повод: Ai2 добавила в тест новые модели и обновила его сайт.
Детали: в целом модели набирали больше баллов с подробной инструкцией, чем с короткой просьбой «хорошо учить». Такая инструкция объясняет модели её работу: помогать там, где нужно, и оставлять ученику ту часть задачи, с которой он справится сам. У отдельных моделей результаты такие.
- Модели GPT-6 реже прежних моделей OpenAI помогают сверх нужного, а с подробной инструкцией их общий балл ещё выше.
- Claude Sonnet 5.5 на низком уровне рассуждений2 лучше всех оставляла ученику часть задачи там, где это советовали учителя. Так было с короткой просьбой «хорошо учить».
- С подробной инструкцией GPT-6 Sol без рассуждений в сумме обошла Claude Opus 4.8.
Но: в посте Ai2 сравнила GPT-6 Sol с более старой Claude Opus 4.8. Результат Claude Opus 5.5 с подробной инструкцией есть в таблице на сайте теста.
Ответы моделей и живых репетиторов можно сравнить в новом разделе на сайте теста. Там же результаты моделей показаны рядом со временем ответа и стоимостью.