Записи чата с ИИ не отличают самостоятельного студента от застрявшего

Авторы нового препринта¹ предложили записывать работу человека с ИИ-помощником не как чат, а как данные с кодом, ошибками и дальнейшими действиями, и проверили это на 35 студентах.

Почему это важно: по словам авторов, ни один формат ещё не связывал запрос к ИИ с тем, что человек делал до и после него. Поэтому по записям нельзя понять, почему помощник подвёл или почему им не пользуются.

Повод: HAIDL-X, программа на основе нового языка HAIDL, целый семестр работала на университетском курсе по инженерии данных. За четыре задания по программированию она записала около 800 обращений к помощнику. Помощником одна группа могла пользоваться в двух заданиях, другая — в двух других.

Как это работает: HAIDL описывает каждое обращение к ИИ как один объект, а HAIDL-X сохраняет такие объекты прямо из JupyterLab — среды, где пишут и запускают код по частям.

• В объекте хранится состояние работы на момент запроса: код, вывод программы и текст ошибки.
• Рядом лежит запрос с этим контекстом, ответ модели, оценка пользователя и сведения о модели и задаче.
• По записям отдельные правила определяют, для чего был нужен запрос: сделанный при ошибке в коде считается попыткой её исправить.

Детали: авторы сравнивают двух пользователей: оба могут по дюжине раз обратиться к помощнику с почти одинаковой перепиской. Один чинит ошибки: правит код после каждого ответа и запускает снова. Другой просто вставляет ответы помощника в свою работу, ничего не пробуя сам, но по счётчику запросов они одинаковы.

В цифрах: итоги по 140 парам «студент — задание».

• В 37 парах доступ был, но запросов нет, и только сданные работы показали, кто справлялся сам, а кто отставал.
• В 26 парах студенты пользовались помощником в заданиях, где доступа по плану не было.
• В 29 парах студенты, которым было трудно, просили помочь с отладкой, следующим шагом или объяснением понятий.
• Чрезмерное использование встретилось лишь однажды, а тех, кто систематически вытягивает готовые ответы, не нашли.

Интрига: число запросов почти ничего не говорит о результате: корреляция числа запросов с числом кусков кода, запущенных без ошибки, составила всего 0,12. Зато менялась роль помощника. В задании на алгоритмы у него просили следующий шаг и проверку, а в задании на конвейер машинного обучения — исправление ошибок и объяснение понятий.

Но: авторы оговариваются, что работа не показывает, улучшает ли помощник обучение. Запуск кода без ошибки — лишь косвенный признак успеха, решение при этом может быть неверным.

Если шире: авторы считают, что те же правила подойдут для научных расчётов и отладки программ. Пока систему проверили только на одном учебном курсе.

Запись почти не замедляет работу: HAIDL-X добавляет к обращению не больше 25 миллисекунд, а половина записей весит меньше 4,53 КБ.