IBM уместила чат, выбор ответа и расшифровку речи в одну модель
Открытые модели IBM Granite Switch 4.1 ведут чат, выбирают ответ из вариантов и расшифровывают речь, а все навыки собраны в одну модель и почти не добавляют ей памяти видеокарты.
IBM выпустила открытые модели Granite Switch 4.1, которые через один адрес API ведут чат, выбирают ответ из заданных вариантов и расшифровывают речь.
Почему это важно: модели решений вместо текста возвращают выбранный вариант и его вероятность, но Jev от TypeSafe и Decisions API, через который так отвечает GPT-6 Luna от OpenAI, закрыты. IBM даёт такую возможность в открытой модели под лицензией Apache 2.0 и ставит её рядом с чатом и распознаванием речи без лишних видеокарт.
Предыстория:
- Весной IBM показала Granite Switch: к одной неизменной базовой модели подключают небольшие адаптеры, и каждый запрос включает нужный навык.
- Узкие адаптеры-классификаторы IBM и раньше выкладывала в каталоге Granite Libraries и тоже называла их моделями решений.
- В сентябре TypeSafe выпустила Jev, а 6 октября OpenAI открыла всем разработчикам Decisions API на модели GPT-6 Luna.
Детали: в обе версии — на 8 и 30 млрд параметров — IBM заранее встроила три навыка:
- Универсальный адаптер Decision выбирает ответ из заданных вариантов и возвращает вероятность для каждого из них.
- Адаптер Guardian решает задачи безопасности: например, проверяет, нет ли в тексте вредного содержания.
- Модель Granite Speech 5.0 Turbo CTC примерно на 0,5 млрд параметров расшифровывает речь; по словам IBM, в рейтинге Open ASR Leaderboard1 она самая быстрая.
Как это работает: Decision и Guardian собраны как адаптеры LoRA2 — небольшие наборы весов поверх неизменной базовой модели Granite 4.1. Модель распознавания речи — не адаптер: она встроена рядом отдельным модулем. Адаптер подхватывает готовый KV-кэш3 базовой модели, поэтому не перечитывает весь разговор заново. Вся сборка занимает в памяти видеокарты примерно столько же, сколько одна базовая модель.
Расклад: IBM прямо сравнивает Granite Switch с моделями решений других компаний:
- По её замерам, Guardian в задачах безопасности в среднем точнее Jev 1.13 от TypeSafe, Microsoft-Decision-1, GPT-Luna-Decisions и открытой Clef-Flash от Cloudflare.
- В сравнении на скорость обе модели выполняли одну задачу из пяти шагов с поиском по документам: версия на 30 млрд параметров, к которой IBM подключила четыре узких адаптера, справилась «намного быстрее» Jev-27B.
- Саму Jev-27B IBM описывает как неизменную открытую модель Qwen от Alibaba с одним общим адаптером решений.
Но: все сравнения провела сама IBM, а время гонки с Jev она не назвала. Guardian — узкий адаптер, и IBM сама объясняет его перевес тем, что специалисты на своих задачах обходят универсальные модели.
Интрига: IBM повторила демонстрацию TypeSafe с классическим шутером Doom. Собранная для этого Granite Switch на 3 млрд параметров принимала в игре 60–100 решений в секунду против 10 у Jev по данным TypeSafe. Заодно модель комментирует игру и отвечает на вопросы.
Что дальше: IBM обещает набор инструментов для обучения собственных адаптеров и уроки по Granite Switch. Собрать свою версию модели из адаптеров Granite Libraries можно уже сейчас.
В демо на Hugging Face модель на 8 млрд параметров в реальном времени расшифровывает аудио, пересказывает его, ищет вредное содержание и проверяет ещё 15 признаков, которые задаёт пользователь.