Qwen3.8 на ноутбуке Уиллисона определила по числовым параметрам, во что играют нейросети

Открытая модель Alibaba Qwen3.8 27B на ноутбуке программиста Саймона Уиллисона¹ определила, в какие игры нейросети обучены играть, просто прочитав их веса — числа, которые сеть подбирает при обучении. Днём раньше это описали авторы нашумевшей статьи на примере GPT-6 Astra.

Почему это важно: статья подавала чтение весов как способность передовых моделей, прежде всего GPT-6 Astra. Проверка Уиллисона показывает, что на трёх играх из четырёх с этой задачей справляется и открытая модель с файлом в 17 ГБ, только ответа приходится ждать около часа.

Повод: авторы обучили четыре маленькие нейросети играть в упрощённые версии Breakout, Pong, Pac-Man и Freeway на поле 10 на 10 клеток. Модель получает описание поля, входов и действий, все 17 253 веса текстом и вопрос, на какой игре училась сеть. Списка игр нет, как нет кода и калькулятора. GPT-6 Astra назвала все четыре, причём похожий на Freeway Frogger авторы засчитали как верный ответ.

Детали: Уиллисон взял готовые запросы авторов с GitHub и запустил их у себя. При стандартном контекстном окне² в 8 192 токена³ запуск падал с ошибками, поэтому окно пришлось расширить. Результаты такие:

• На Pac-Man ушло 46 минут 12 секунд и 43 506 токенов на рассуждения.
• На Pong — 1 час 4 минуты 54 секунды.
• На Breakout — 52 минуты 25 секунд.

Для сравнения Уиллисон дал запрос о Breakout модели Kimi K3.1 Pro через облачный сервис OpenRouter⁴: верный ответ пришёл за 9 минут 41 секунду и 19 493 токена рассуждений. Записи рассуждений Qwen он называет почти непонятными. Модель перебирает строки чисел, вычисляет, к какой клетке и какому каналу относится вход, и строит догадки вроде того, что игрок, возможно, стоит внизу справа.

Но: четвёртая игра, Freeway 1981 года для приставки Atari 2600, к моменту публикации ещё считалась. От неё Уиллисон ждёт меньшего: она не такая классика. И у авторов, и у него на каждую игру приходится по одной сети.

Что говорят: Мэттью Хоннибал, автор библиотеки для обработки текста spaCy, считает статью вводящей в заблуждение: она смешивает чтение весов без инструментов с правкой, для которой Astra писала программы на Python. Так Astra улучшила и маленькую модель Qwen3.5-0.8B: нашла причину, по которой та зацикливалась в рассуждениях, и поправила 0,016% её весов. Её результат в математическом тесте MATH-500 вырос с 7,9% до 48,1%. «По-моему, результат с Qwen и другие опыты с Python не должны стоять в одном посте или статье с опытами, где веса читают напрямую», — пишет он.

Инженер и автор блога об ИИ Шон Годеке (Sean Goedecke) тоже не видит тут чуда: «Думаю, толковый человек-исследователь машинного обучения мог бы выполнить все эти задачи». Каждый вход сети подписан и сообщает один признак одной клетки поля: например, есть ли в ней игрок или движущийся предмет. Если посчитать, насколько велики веса первого слоя у каждого входа, получится тепловая карта, где видно, куда ставят игрока и где движутся предметы. По такой карте, считает Годеке, сразу узнаются как минимум первые три игры, а Astra показала разве что «сверхчеловеческий устный счёт, а не сверхчеловеческие исследования ИИ».

Так уже было: устный счёт этой модели Уиллисон уже проверял в октябре. Рассуждая по шагам, Qwen3.8 27B правильно сложила и записала словами 167 сумм из 169, а без рассуждений справилась примерно с четвертью.

Сам Уиллисон считает, что при достаточном усердии опытный человек с блокнотом и карандашом справился бы тоже. Часть откликов на статью кажется ему преувеличением: «Я не готов объявить, что эпоха исходного кода закончилась, а в будущем непостижимые машины будут непостижимым образом править собственные веса».