Thinking Machines выпустила модель Inkling 2 Mini для ноутбуков
Inkling 2 Mini пишет код без интернета на Mac с Apple Silicon и памятью от 32 ГБ, а повторные вычисления сокращают текст по ходу решения.
Thinking Machines выпустила Inkling 2 Mini — модель с открытыми весами, которая может писать код на ноутбуке без подключения к интернету. Компания выложила для скачивания файл с параметрами обученной модели, которые нужны для её запуска.
Детали: Файл с весами занимает около 20 ГБ. В карточке модели Thinking Machines указывает поддержку Mac с чипом Apple Silicon и оперативной памятью от 32 ГБ. Для запуска модели Ollama предлагает установить предварительную версию своей программы. Исследователи запустили Inkling 2 Mini на MacBook Pro во время полёта, и за несколько минут она написала авиасимулятор, в который можно играть.
Большая часть весов хранится в виде 4-битных чисел, что экономит память. При обучении Thinking Machines использовала ту же точность для вычислений в большинстве слоёв. Вычисления с такой точностью уже помогли Thinking Machines ускорить обучение Inkling 2 Small.
Как это работает: Прежде чем выдать очередной фрагмент текста, модель трижды пропускает данные через средние слои. При каждом повторе она учитывает результат предыдущего прохода. Так модель делает больше вычислений перед выводом каждого фрагмента и может прийти к ответу, написав меньше промежуточного текста.
В цифрах: В тесте DeepSWE v1.1 модель самостоятельно решила 48,2% задач по программированию. Это лучший результат в сравнении Thinking Machines среди моделей с открытыми весами и менее чем 100 млрд параметров. В тестах на ведение диалога и соблюдение инструкций с множеством условий она уступила Qwen3.8-27B.
Общая картина: Thinking Machines проверила, мешают ли повторные вычисления следить за ходом решения по тексту модели. В этих опытах заметного ухудшения компания не увидела. На отдельной исследовательской версии с настраиваемым числом проходов авторы оценили, сколько времени нужно человеку на задачу, которую модель решает без записи рассуждений с вероятностью 50%. Расчёт дал 37 секунд при трёх проходах и 16 секунд при одном.
В научном тесте GPQA Diamond авторы отобрали вопросы, на которые исследовательская версия верно ответила при всех пяти настройках числа проходов, и сравнили записи её рассуждений по этим вопросам. При пяти проходах записи были в среднем более чем вдвое короче, чем при одном. По длине предложений и доле слов из английского словаря авторы сочли записи одинаково читаемыми.
Веса Inkling 2 Mini и исследовательской версии выложены на Hugging Face. На платформе Tinker Inkling 2 Mini можно запускать и дообучать под свои задачи.