MachGen открыла код для ускорения видеомоделей вроде MiniMax H3
MachGen выложила открытый код, который на ускорителях NVIDIA B200 примерно вдвое ускоряет механизм внимания — самую затратную часть расчёта в видеомоделях вроде MiniMax H3.
MachGen — сервис, который быстро генерирует картинки и видео открытыми моделями. Компания выложила код Open-VC Attention: на NVIDIA B200 он ускоряет механизм внимания1 в видеомоделях вроде MiniMax H3 примерно вдвое по сравнению со стандартным FlashAttention-42.
Детали: Open-VC Attention — переработка метода VC-Attention, который в сентябре показал стартап Nunchux AI и исследователи из университетов и NVIDIA. Внимание там считают в 8 битах вместо 16. Исходный метод перестраивает все данные, а MachGen точечно правит лишь немногие токены, которые хуже всего переносят округление. По словам компании, так получилось больше чем на 20% быстрее исходного метода, а модель не нужно дообучать.
Но: замер касается только блока внимания на последовательности в 73 тысячи токенов. Ошибка на выходе этого блока по сравнению с 16-битным расчётом — около 3%. Насколько быстрее получается весь ролик, компания не сообщает.
Код открыт под лицензией BSD-3-Clause и работает только на ускорителях B200 и B300. MiniMax поделилась анонсом и написала, что интерес к H3 не угасает и через два месяца после выхода. Компания добавила, что «будет ещё», но не уточнила, о чём речь.