IBM и Red Hat обслужили 3 000 ИИ-агентов для кода на видеокартах H100

Инженеры IBM Research и Red Hat развернули открытую модель GLM-5.2 на 544 видеокартах NVIDIA H100 и одновременно обслужили до 3 000 агентов-программистов, говорится в блоге IBM Research. На пике система выдавала 6,6 млн токенов в минуту. Ни один запрос не пришлось прерывать и откладывать из-за нехватки памяти.

«Мы хотели показать, что открытую модель можно запустить на своих серверах и выполнять на ней реальную работу агентов с длинным контекстом. Причём на тех видеокартах, которые у большинства организаций уже есть», — пояснил ведущий инженер IBM Research и один из руководителей проекта llm-d Карлос Коста.

llm-d — открытый фреймворк для работы больших языковых моделей на собственных серверах компании. Его развивают IBM Research, Red Hat и Google, проект входит в «песочницу» Cloud Native Computing Foundation¹. Раньше команда показывала похожий результат на более новых видеокартах H200. H100 — ускорители прошлого поколения, зато они стоят в большинстве корпоративных и облачных парков.

По расчёту команды, при нынешних ценах на аренду H100 в облаке токен GLM-5.2 обходится в 5–10 раз дешевле, чем у сопоставимых коммерческих API. Сильнее всего экономия там, где модель много читает и мало пишет. С какими именно API сравнивали, в материале не уточняется.

Агентам для кода нужно именно чтение. Команда разобрала 219 реальных сессий Claude Code: в среднем запросе было около 195 000 токенов на входе и всего 317 на выходе. Часто агент отправляет модели весь репозиторий. В 96% запросов главного агента не меньше 90% входа дословно повторяло предыдущий запрос. Больше половины запросов приходили внезапными пачками от параллельных субагентов.

Поэтому llm-d старается не считать одно и то же дважды. Каждый запрос уходит на тот сервер, где уже хранятся результаты обработки его контекста. На бенчмарке CyberGym² точное сопоставление контекста вместо приблизительного подняло пропускную способность на 79%, а время до первого токена сократилось на 67%. Кэш, который не помещается в видеопамять, переезжает в оперативную память процессоров. Чтение контекста и генерацию ответа выполняют разные группы серверов, и каждую можно наращивать отдельно. В итоге 85,2% входных токенов система брала из кэша.

Сейчас эта установка обслуживает внутреннюю нагрузку, где одновременно работают от сотен до тысяч агентов. «Мы не гнались за одной пиковой цифрой», — подчеркнул старший инженер Red Hat Марун Аюб. Цель, по его словам, была в другом: проверить, выдержит ли открытая модель такого размера длинные контексты, повторы и всплески нагрузки.

GLM-5.2 выпустила китайская Z.ai. В августе вышла следующая версия, GLM-5.3, на 750 млрд параметров. В части тестов по программированию она обходит американские модели.