Рассуждая по шагам, Qwen3.8 27B почти без ошибок сложила большие числа и записала ответ словами

В опыте Саймона Уиллисона¹ модель Alibaba Qwen3.8 27B почти без ошибок сложила числа длиной до 13 цифр и записала сумму прописью, когда сначала рассуждала. На одних и тех же 169 примерах без рассуждений она ответила верно 45 раз, а с рассуждениями — 167.

Почему это важно: опыт показал, что почти без ошибок складывать большие числа может сама модель на настольном компьютере, без калькулятора и других программ, — в режиме, где она сначала расписывает решение по шагам. У GPT-4o в таком опыте больше двух лет назад ошибок было много.

Предыстория: больше двух лет назад так же проверял GPT-4o Колин Фрейзер, а теперь он выложил таблицу с результатами в соцсети Bluesky². Уиллисон уверен, что GPT-4o калькулятором не пользовалась: она слишком часто ошибалась. Но он захотел повторить опыт в условиях, где всё под его контролем. Поэтому модель работала на его собственном компьютере: облачная GPT-4o в принципе могла незаметно передать расчёт калькулятору, а здесь такой возможности не было.

Детали: опыт по картинке Фрейзера собрал и провёл агент для программирования Codex на модели GPT-6 Astra.

• Alibaba выпустила Qwen3.8 27B в августе с открытыми весами³; Уиллисон взял её версию, сжатую квантизацией⁴ до 4 бит, и запустил на DGX Spark — настольном ИИ-компьютере NVIDIA.
• Без рассуждений модель получила по 30 примеров на каждое сочетание длин слагаемых от 1 до 13 цифр, всего 5 070, а с рассуждениями — по одному, всего 169.
• Ответ засчитывали, только если он целиком состоял из английских слов и называл точную сумму.

В цифрах:

• Без рассуждений верными оказались 1 195 ответов из 5 070, или 23,6%: 97%, когда в обоих числах не больше трёх цифр, и 6%, когда в большем из них от 10 до 13 цифр.
• Однозначное число к 13-значному модель прибавила верно в 37% попыток, а когда в обоих числах больше шести цифр, верных ответов почти нет.
• Записывать числа словами модель умела: 96% ответов были правильными английскими числительными, ошибалась она в самой сумме.
• Рассуждения замедлили модель: медианное время ответа выросло с 1,5 до 27,6 секунды.

Как это работает: в записях рассуждений модель складывает числа разряд за разрядом и порой одёргивает себя: «Стоп, пересчитаю внимательнее».

Интрига: одна из двух ошибок с рассуждениями — не в счёте. Модель верно сложила 866 210 161 193 и 296 827 965, но в ответе назвала 866 миллиардов триллионами. Во втором случае она ошиблась на сотню, прибавляя 73 к 42 439 903.

Но: сравнение не вполне чистое, оговаривается в отчёте, который Codex составил по итогам опыта: вместе с рассуждениями сняли и лимит длины ответа, без них он был 128 токенов. Кроме того, с рассуждениями модель решала каждый пример всего один раз.

«Раз попытка была одна, я уверен, что повторный прогон дал бы другие результаты», — пишет Уиллисон.