NVIDIA запустила платформу Minerva для поиска сбоев в ИИ-дата-центрах

NVIDIA запустила Minerva — платформу, которая собирает данные со всего ИИ-дата-центра и с помощью специально обученных моделей ищет неисправности раньше, чем те затормозят работу. Компания представила её на конференции GTC в Берлине.

Почему это важно: в ИИ-фабрике¹ одна деталь, которая работает хуже нормы, может замедлить всю задачу, а признаки легко пропустить: видеокарта греется сильнее соседних, накопитель теряет скорость под нагрузкой. Обычные системы мониторинга при этом делят картину на части: одну видит команда сети, другие — команды вычислений, надёжности и машинного обучения.

Как это работает: Minerva собирает показания видеокарт, сетевого оборудования, хранилищ, планировщиков и самих задач, а дальше:

• Строит граф знаний²: какие видеокарты, сетевые карты, коммутаторы и кабели связаны между собой и какие задачи на них идут.
• По этому графу медленную задачу обучения можно проследить до виновной детали, по словам NVIDIA, даже на площадке с сотнями тысяч видеокарт.
• Модели разбирают миллиарды показаний в час, запоминают, как выглядит нормальная работа, и замечают отклонения, которых раньше не встречали.
• Вместо лавины тревог оператор получает один инцидент с вероятной причиной, а поломки, которые только назревают, платформа пытается предсказать.

Детали: в Minerva встроен ИИ-ассистент, к ней можно подключить и сторонних агентов. Оператор спрашивает о состоянии кластера обычными словами и получает советы, как исправить сбой, а ответы опираются на текущие показания. Исправления можно вносить вручную или отдать автоматике через программные интерфейсы оборудования и внешние системы.

Расклад: IREN³ уже пользуется Minerva. Развернуть платформу собираются Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI и Tesla, а Dell, Lenovo и Supermicro будут предлагать её вместе со своими инструментами для управления ИИ-фабриками.

Общая картина: Minerva — ещё один продукт NVIDIA не для самих ускорителей, а для дата-центров вокруг них. В сентябре компания запустила проверку накопителей энергии и систем охлаждения на соответствие своему проекту ИИ-фабрики, в октябре выложила в открытый доступ чертежи серверных стоек Vera Rubin.

Но: NVIDIA обещает, что задачи будут дольше работать без перебоев, а ремонт пойдёт быстрее, но цифр не приводит. Цену платформы компания не назвала.