Cohere рассказала, как научила модель оценивать шансы до и после решения

Исследователи Cohere научили рассуждающую модель дважды оценивать свои шансы — до решения задачи и после ответа. На математике её ошибка калибровки¹ оказалась вдвое с лишним меньше, чем у лучшего метода, где модель оценивает уверенность один раз. Статья о методе CALIBER вышла ещё в июне, теперь компания разобрала его на примерах.

Почему это важно: длинное рассуждение само по себе не учит модель понимать, что она ошиблась. Уверенность, которой можно верить, подсказывает человеку, какой ответ принять, а какой перепроверить.

Как это работает: в одном ответе модель называет начальную уверенность, рассуждает, отвечает и называет итоговую уверенность. Две оценки обучают по-разному:

• Начальная отвечает на вопрос «справлюсь ли я с этой задачей»: модель решает задачу несколько раз, и если удались семь попыток из десяти, цель — 70%.
• Итоговая оценивает уже полученный ответ: её цель — 100%, если ответ верен, и ноль, если нет.
• Отдельно модель получает награду за правильный ответ, чтобы не училась только сомневаться вместо того, чтобы решать.
• Признав сомнение в неверном ответе, модель выигрывает в оценке уверенности, но награду за решение не получает.

Детали: оценки могут расходиться в обе стороны. В примере из блога модель берётся за задачу о сумме двух игральных кубиков с уверенностью 25%, пересчитывает исходы и заканчивает на 88%. А рассуждение над простой на вид задачей может вскрыть ошибочное допущение, и тогда уверенность падает.

Между строк: авторам мало, чтобы уверенность модели в среднем совпадала с долей верных ответов. Модель, которая отвечает верно в 70% случаев и всегда называет 70%, формально откалибрована, но не подсказывает, какие ответы проверять. Поэтому авторы смотрят на две метрики:

• Ожидаемая ошибка калибровки (ECE) показывает, совпадает ли уверенность с долей верных ответов: из ответов с уверенностью 80% верными должны оказаться около 80%. Чем она ниже, тем лучше.
• Площадь под ROC-кривой (AUROC) показывает, получают ли верные ответы более высокую уверенность, чем ошибочные. Чем она выше, тем лучше.

В цифрах: модели на 7 и 30 млрд параметров обучили на 30 000 математических задач и проверили на 1 000 новых для них задач (набор BigMathDigits) и трёх наборах вопросов. Результаты модели на 7 млрд:

• На BigMathDigits ошибка калибровки снизилась до 0,028 — на 52,5% меньше, чем у лучшего метода с одной оценкой уверенности.
• Площадь под ROC-кривой там же — 0,806, лучший результат среди сравнённых методов.
• На наборах вопросов, которых модель при обучении не видела, ошибка калибровки ниже, чем у лучшего метода с одной оценкой: на GPQA² — на 26,8%, на TriviaQA³ — на 32,2%, на SimpleQA⁴ — на 36,2%.
• На BigMathDigits после рассуждения средняя уверенность в верных ответах выросла с 78,5% до 83,5%. В ошибочных она упала с 62,6% до 54,5%.

Но: выигрыш зависит от того, что мерить.

• У модели на 30 млрд ошибка калибровки 0,022 почти совпадает с 0,023 у упрощённого метода CoCA-lite, зато площадь под ROC-кривой — 0,797 против 0,508.
• По площади под ROC-кривой несколько других методов у модели на 30 млрд немного обходят CALIBER.
• Соперников обучали в той же постановке, но это упрощённые переделки прежних методов, а не их оригиналы.
• По доле верных ответов на математике модель на 7 млрд уступает лучшему из методов на 2,1 процентного пункта, следует из статьи.

Поможет ли такая уверенность модели самой решать, когда перепроверить ответ, поискать данные или отказаться отвечать, авторы пока не проверяли.