Granite 4.2

Что это за модель

Granite 4.2 — линейка открытых языковых моделей IBM трёх размеров: 3, 8 и 30 млрд параметров. Это плотные модели: при каждом ответе работают все параметры сразу. Главная новинка — встроенные рассуждения. Перед ответом модель выписывает цепочку рассуждений в отдельном блоке, чтобы спланировать шаги, сравнить варианты и поймать свои ошибки до того, как они повлияют на результат.

От Granite 4.0 новая версия отличается прежде всего обучением. IBM взяла за основу модели четвёртого поколения и добавила несколько этапов обучения с подкреплением — так называют обучение, при котором модель получает награду за удачно решённые задачи. Общий этап по математике, науке, программированию, рассуждениям и вызову инструментов прошли все три модели. Версии на 8 и 30 млрд параметров дополнительно учились в рабочих условиях: правили код, работали в терминале и искали в интернете. Модель на 3 млрд параметров эти этапы пропустила.

Режим рассуждений можно менять для каждого запроса. По умолчанию модель думает полностью, но есть режим без рассуждений для быстрых прямых ответов и сокращённый режим для простых вопросов. Так можно выбирать между глубиной ответа и задержкой. IBM рассчитывает на корпоративные агентные процессы: модель сначала решает, какой инструмент вызвать, и только потом его вызывает. Ещё её предлагают для математики, программирования, многошаговой логики и диалогов на двенадцати языках. Самая крупная версия работает с длинными документами: её контекстное окно расширено до 512 тыс. токенов, у остальных оно вдвое-вчетверо короче.

Веса открыты под лицензией Apache 2.0, она разрешает коммерческое применение без ограничений. IBM подписывает веса криптографической подписью и публикует сведения о том, как обучала модели. Модели работают только с текстом. Самой продвинутой частью обучения — в рабочих средах — прошли лишь две старшие версии, поэтому для агентных задач лаборатория предлагает именно их.

Источники: Анонс Granite 4.2 в блоге IBM Research, Документация Granite 4.2