IBM наладила полноценную поддержку своего ИИ-ускорителя Spyre в PyTorch

IBM сделала свой ИИ-ускоритель Spyre полноценным устройством в PyTorch, самой распространённой библиотеке для ИИ-моделей. С моделями из каталога Hugging Face на нём работают почти теми же приёмами, что и на видеокартах NVIDIA.

Почему это важно: программы для ИИ пишут в основном под видеокарты, и чип без привычных инструментов мало кому нужен. Без такой поддержки клиенты IBM были бы привязаны к узкому каталогу моделей, специально подготовленных под Spyre.

Предыстория: в октябре 2025 года IBM и PyTorch Foundation¹ пообещали в 2026 году сделать Spyre полноценной частью PyTorch. Ещё они собирались научить системы распределять работу между разными ускорителями. В том же месяце IBM объявила о начале продаж Spyre.

Детали: Spyre — плата с 32 ядрами для серверов IBM Z², LinuxONE и Power, на которых крупные компании проводят платежи и ищут мошенничество. Она рассчитана на инференс, то есть на работу уже обученных моделей. Устроена она иначе, чем видеокарта: вычисления запускаются, как только данные доходят до ядер.

Расклад: IBM выпустила обновление вместе с Red Hat и участниками PyTorch Foundation, среди которых Meta* и Hugging Face. В него вошли три части:

• Новый модуль для PyTorch переводит обычный код в план вычислений для Spyre. Операции, которые чип пока не умеет, переписывает отдельная надстройка над моделью — адаптер: он заменяет их математически равноценными.
• Плагин для vLLM, популярной программы для запуска моделей, подключает Spyre и к системе IBM, Red Hat и Google для распределённого запуска моделей, которая недавно вышла в версии 1.0.
• Целые модели запускают на Spyre и сверяют их ответы с эталонными на обычных процессорах и видеокартах. Так видно, если обновление PyTorch что-то сломало.

В цифрах: замеры, которые приводит IBM:

• Компилятор для Spyre переписали на основе встроенного компилятора PyTorch Inductor, и его код стал примерно в семь раз меньше прежнего.
• Модель Granite 3.3 8B³ стала читать запрос в 1,7 раза быстрее, а писать ответ — в 2,4 раза быстрее. Замеряли на одном запросе длиной 1024 токена, ускорение дала переделка передачи данных и команд к чипу.
• Общие версии слоёв моделей в vLLM, не привязанные к конкретному железу, почти не замедляют видеокарты. На NVIDIA H100 по общему числу токенов⁴, обработанных за секунду, они отстают от родной реализации не больше чем на 3,4%, в среднем по трём моделям.

Но: новые реализации моделей в vLLM всё чаще подгоняют под конкретные модели и самые новые видеокарты. Общие слои — ответ сообщества vLLM на это, но пока в программе есть только их ранняя поддержка. Со Spyre её проверили на Gemma 4, Qwen3 и Granite 4.2.

Если шире: Amazon идёт тем же путём: за четыре дня до анонса IBM она выпустила похожую программу TorchNeuron, которая переносит код PyTorch на её чипы Trainium.

IBM описывает сценарий для страховой компании: классические модели ищут в заявлениях мошенничество, а модель Gemma на 26 млрд параметров на Spyre разбирает подозрительные случаи. Такую цепочку собирают из привычных моделей и инструментов, а железо подбирают под каждую задачу.