IBM выпустила открытые модели Granite 4.2 для агентов и крошечную модель распознавания речи
Модели Granite 4.2 на 3, 8 и 30 млрд параметров умеют рассуждать перед ответом и вызывать инструменты. Вместе с ними вышла модель распознавания речи на 470 млн параметров, которая работает даже на ноутбуке.
IBM выпустила Granite 4.2 — семейство открытых языковых моделей для корпоративных ИИ-агентов. Их три: на 3, 8 и 30 млрд параметров. Все умеют «думать»: прежде чем действовать, модель пошагово рассуждает, выбирает, какие программы вызвать и в каком порядке, и проверяет себя. Лицензия Apache 2.0 позволяет скачать модели, дообучить их и запустить в работу без ограничений. Модели уже выложены на Hugging Face, Ollama и GitHub.
IBM предлагает делить работу по размеру. Малые модели берут поток простых агентных задач, а крупные нужны для сложных рассуждений и программирования. Агенты на Granite 4.2, по словам компании, умеют разбираться в кодовой базе, решать задачи разработки в несколько шагов и работать в терминале. Модели можно запускать в облаке, на собственных серверах и на периферийных устройствах.
Главные изменения — в обучении. Сначала модели дообучили на примерах, затем провели несколько этапов обучения с подкреплением1. Базовый этап прошли все три модели: он подтягивал математику, науку, программирование и вызов инструментов. Модели на 8 и 30 млрд параметров прошли ещё и агентный этап — на задачах по разработке, работе в терминале и поиску информации. Кроме того, в обучение добавили 1 трлн токенов синтетического кода. А спекулятивное декодирование2 ускоряет вывод текста и позволяет обслуживать больше пользователей на том же железе.
IBM также работает со стартапом Hirundo3. Его технология «машинного разучивания» должна убирать нежелательные ответы модели без полного переобучения. Результатов этой работы пока нет.
Вместе с языковыми моделями вышли две речевые — Granite Speech 5.0 Turbo CTC и её некоммерческая версия NC, обученная на данных с ограниченными правами. В отличие от прошлых речевых моделей Granite, внутри у них нет большой языковой модели. Поэтому они весят всего 470 млн параметров и подходят для ноутбуков и смартфонов. По замерам IBM на одной видеокарте H200, модель расшифровывает звук примерно вдвое быстрее нынешних лидеров рейтинга Open ASR4: около 12 600 против 6 000 по показателю скорости. Три часа записей она расшифровывает за секунду.
Цифры скорости — собственные тесты IBM. Результатов по качеству расшифровки и сравнения агентных навыков Granite 4.2 с конкурентами в материале нет.