Qwen-Image-2.1 рисует картинку за 19 секунд на игровой видеокарте RTX 4090
На одной RTX 4090 модель Alibaba для картинок Qwen-Image-2.1 без сжатия рисует картинку за 18,7 секунды — это замеры команды движка SGLang Diffusion.
Движок SGLang Diffusion1 научился запускать открытую модель Alibaba для создания и правки картинок Qwen-Image-2.1. По замерам его команды, на одной игровой видеокарте RTX 4090 картинка 1024×1024 получается за 18,7 секунды.
Почему это важно: модель без сжатия весов работает на компьютере с игровой видеокартой, а не только на серверных ускорителях.
В цифрах: команда SGLang замеряла скорость при 40 шагах генерации и одной картинке на запрос:
- На RTX 4090 с 24 ГБ памяти картинка получается за 18,7 секунды, а правка готовой — за 21,7 секунды;
- Во время запросов пиковое потребление видеопамяти на RTX 4090 — 22,7 ГиБ, часть модели при этом лежит в оперативной памяти компьютера;
- На профессиональной видеокарте RTX PRO 6000 с 96 ГБ памяти генерация занимает 8,0 секунды, а правка — 9,6 секунды.
Детали: в SGLang Diffusion одна и та же модель рисует по текстовому описанию, правит картинку по нескольким образцам и выдаёт PNG с прозрачным фоном. Программы обращаются к ней через интерфейс, совместимый с API OpenAI.
Расклад: Alibaba открыла веса Qwen-Image-2.1 20 сентября. В тот же день поддержку добавили vLLM-Omni и ComfyUI. В vLLM-Omni на серверном ускорителе NVIDIA GB300 картинка того же размера получалась за 4,5 секунды.
Кроме того, Qwen позвала в соцсети X попробовать модель в демо на Hugging Face Spaces2. Оно работает в браузере, ничего устанавливать не нужно.