Сообщество ускорило открытую видеомодель MiniMax H3 и перенесло её на Mac

С августа, когда MiniMax открыла веса видеомодели H3, инженеры NVIDIA, Alibaba, Hugging Face и энтузиасты ускорили её в несколько раз и собрали версии для Mac, TPU¹ и игровых видеокарт. Накануне MiniMax добавила в свой каталог таких доработок на GitHub ещё 11 проектов и поблагодарила авторов в соцсети X.

Почему это важно: исходные веса H3 не помещаются в память домашней видеокарты. Сжатые и ускоренные сборки позволяют опробовать модель на одной такой карте и удешевляют каждый ролик.

Повод: в каталог попала генерация видео со звуком за 8 шагов по образцам — картинкам, роликам и аудио, которыми задают будущий ролик. Туда же вошло ускорение до 4 шагов, разреженное внимание² и сжатие этих образцов. Добавились и сборки для серверов, облачных TPU Google и компьютеров Mac.

Как это работает: открытая H3 делает ролики длиной до 15 секунд в 768p сразу со стереозвуком — по тексту, картинкам, видео и аудио. До 2K их доводит отдельный модуль H3-Regenerate-2K, но его MiniMax пока не открыла. Кадры модель получает из шума и очищает их шаг за шагом, и каждый шаг — полный прогон модели. Поэтому меньше шагов — быстрее ролик, а разреженное внимание и сжатие сокращают работу внутри самого шага.

Детали: самые заметные доработки сделали крупные команды:

• FastH3 от FastVideo, Nuva Lab и NVIDIA делает ролик за 4 шага и запускается на Mac и на настольном ИИ-компьютере NVIDIA DGX Spark.
• Sol-H3 от команды SANA из NVIDIA, по её замеру, делает 15-секундный ролик со звуком за 6,6 секунды. Для этого нужны восемь ускорителей B300, а время считали без загрузки модели.
• Alibaba PAI перенесла на H3 метод ускорения PDD, разработанный в NVIDIA: её адаптеры на 8 шагов уже встроены в ComfyUI³.
• Hugging Face показала запуск H3 на облачных TPU, а создатель базы данных Redis Сальваторе Санфилиппо написал для H3 движок h3.c под Mac.

В цифрах: сколько памяти нужно и сколько ждать, по данным каталога:

• Для карты на 24 ГБ стартовый вариант — урезанная версия: она примерно на 40% меньше исходной и работает только в ComfyUI.
• Для 8 ГБ авторы DiffSynth-Studio предлагают свою сжатую сборку. Владелец ноутбука с такой картой получил 10-секундный ролик за 14,3 минуты.
• Сборка VDN от команды OpenVDN — это H3 с переделанным механизмом внимания и адаптером на 8 шагов. Ролик в 768p длиной 14,4 секунды она очищает от шума за 51 секунду на одном ускорителе B200, а на восьми таких ускорителях — за 11,23 секунды.

Но: у ускорения есть цена:

• Сжатые версии выкладывают сторонние авторы: в каталоге предупреждают, что это не официальные файлы MiniMax, и советуют проверять совместимость.
• При 4 шагах может портиться и быстрое движение в кадре, и звуковая дорожка, а при 6–8 шагах и то и другое получается лучше.
• Облегчённая сборка FastH3 Trim, по замеру авторов, делает 5-секундный ролик со звуком за 82 секунды на карте с 8 ГБ памяти. Но это RTX 4090, у которой память искусственно урезали до 8 ГБ: на настоящих картах с меньшей памятью авторы ожидают более медленной работы.

«Открытые модели становятся полезнее, когда сообщество может улучшать методы, приспосабливать среду запуска и строить вокруг них свои процессы», — считают в MiniMax.

Подробнее: Видеомодель MiniMax H3 на SGLang генерирует ролик вдвое быстрее, чем он длится