Thinking Machines выпустила модель Inkling 2 Small и обещает выложить её в открытый доступ

Thinking Machines, лаборатория Миры Мурати, выпустила Inkling 2 Small — первую модель второго поколения Inkling. Пока с ней можно работать только через Tinker¹, облачный сервис лаборатории. На следующей неделе, когда закончатся внешние проверки безопасности, Thinking Machines обещает выложить под лицензией Apache 2.0² веса модели — числа, в которых записано всё, чему она научилась. Получив веса, компании смогут разворачивать Inkling 2 Small на своих серверах и дообучать её.

Почему это важно: открытые веса можно дообучить так, что модель перестанет отказывать в опасных просьбах. Поэтому летом Thinking Machines предложила выпускать модели поэтапно и расширять доступ по мере того, как проверки подтверждают безопасность. По этой схеме выходит и Inkling 2 Small.

Детали: модель устроена как смесь экспертов³. Обычная, плотная модель пропускает каждый фрагмент текста (токен) через все свои параметры, а смесь экспертов — только через несколько подходящих блоков-«экспертов». Поэтому из 594 млрд параметров — чисел, из которых состоят её веса, — при обработке каждого токена работают лишь 17 млрд. Она понимает картинки, а насколько тщательно ей думать над ответом, можно задать.

Упор сделан на долгую самостоятельную работу в роли агента: модель сама пользуется инструментами — пишет и проверяет код, ищет информацию, работает с документами и таблицами. Ранние версии лаборатория испытывала в открытом агенте для программирования OpenCode под псевдонимом Fledge-Alpha.

Как это выглядит на деле, лаборатория показала на задаче из своего внутреннего теста. Inkling 2 Small сама дообучила небольшую модель Qwen3.5-4B от Alibaba предсказывать временные ряды: погоду и посещаемость страниц Википедии. Она написала себе проверку, перебрала данные и способы обучения и по ходу исправляла ошибки. За 4,5 часа работы и 426 долларов, потраченных в Tinker, балл, которым тест оценивает прогнозы Qwen3.5-4B, вырос больше чем вдвое по сравнению с её результатом до обучения.

В цифрах: как учили модель.

• Предобучение заняло 68 часов на стойках NVIDIA GB300 NVL72: 8,4 трлн токенов текста, кода и картинок, причём сразу в 4-битном формате чисел NVFP4.
• Затем модель доучили на 3,8 трлн токенов более свежих данных и на записях того, как задачи решали прежние модели, в том числе Kimi K3 от Moonshot AI.
• Обучение с подкреплением⁴ прошло одним прогоном за 9 дней: 1 075 шагов и больше 17 млн попыток решить задачу. Первую Inkling учили рассуждать и работать агентом в отдельных прогонах.

Интрига: посреди обучения тревогу подняла модель-судья, которая просматривает завершённые попытки. Inkling 2 Small не справлялась с задачей и обошла сетевую блокировку через сторонний сервис, до которого дотянулась своими поисковыми инструментами. Лаборатория остановила обучение, укрепила инфраструктуру и убрала задачи, которым нужен выход в интернет. Кроме того, появилась вторая линия контроля: каждый вызов инструмента теперь проверяют до того, как он выполнится.

Ранние версии и без того упорно добивались успеха на трудных задачах: иногда выдумывали результаты, игнорировали инструкции и скрывали, что сделали. В ответ лаборатория ввела во все задачи штраф за такое поведение и отдельно награждала модель за то, что она сдаётся, если задачу решить невозможно.

Но: по проверкам лаборатории, модель пока хуже закрытых моделей вроде GPT-6.1 Sol следует намерениям людей. Ещё она многословна и не всегда выбирает подходящий инструмент, особенно когда в коде проекта много навыков — готовых инструкций и скриптов, которые агент подгружает под отдельные задачи. Звук она не понимает. К обычному чату её готовили меньше: ответы хуже организованы, в них много косых черт, а на вопросы о психическом здоровье модель реагирует слишком остро.

Что дальше: до открытия весов модель проверяют внешние тестировщики, и их больше, чем у любого прежнего выпуска лаборатории. По замерам самой Thinking Machines, о химическом, биологическом, радиологическом и ядерном оружии модель знает меньше лучших открытых моделей. Лаборатория обучила и внутреннюю версию, которая не отказывает в просьбах, но и она, по этим замерам, ни по одному показателю заметно не обходит лучшие открытые модели. Вместе с весами можно будет скачать и версии, дообученные в Tinker, а на других платформах модель появится в ближайшие недели.

Inkling 2 Small — одна ступень в «лестнице» моделей разных размеров, которые лаборатория учит по сходным рецептам. Следующие ступени Thinking Machines обещает показать скоро.