SGLang Diffusion
Часть открытого движка для запуска моделей SGLang, рассчитанная на диффузионные модели, которые генерируют и редактируют изображения и видео. Она ускоряет генерацию и превращает модель в сервис: к ней можно обращаться через API, совместимый с OpenAI, через командную строку или из кода на Python. Основную часть SGLang используют для языковых моделей.
проверено по: lmsys.org ↗
См. также
- SGLangОткрытый движок инференса для больших языковых и мультимодальных моделей, развиваемый сообществом LMSYS и ориентированный на высокую пропускную способность и низкие задержки — от одной видеокарты до кластеров. Направление SGLang Diffusion добавляет к нему ускоренную генерацию изображений и видео диффузионными моделями.
- FastVideoОткрытый фреймворк лаборатории Hao AI Lab Калифорнийского университета в Сан-Диего для ускорения генерации видео диффузионными моделями. Совмещает дообучение моделей (дистилляцию, после которой ролику нужно всего несколько шагов расшумления, и разреженное внимание) с оптимизированным инференсом. Сам видеомоделью не является: это инструмент для разработчиков и исследователей, который ускоряет уже существующие открытые видеомодели.
- Диффузионная модельКласс генеративных моделей. При обучении к данным постепенно добавляют шум, а модель учится убирать его шаг за шагом; при генерации она начинает со случайного шума и за несколько итераций превращает его в результат. Это основной подход к генерации изображений, видео и звука. Есть и текстовые диффузионные модели: в отличие от обычных языковых моделей, они не пишут текст по одному токену, а уточняют весь ответ целиком.
- DiffusersОткрытая библиотека Hugging Face на Python для запуска, дообучения и создания диффузионных моделей, генерирующих изображения, видео и звук. Даёт единый интерфейс готовых конвейеров (pipeline) и отдельных компонентов, поэтому поддержка модели в Diffusers обычно означает, что её легко запустить локально или в своём коде.
В новостях
Qwen-Image-2.1 рисует картинку за 19 секунд на игровой видеокарте RTX 4090
Часть открытого движка SGLang для диффузионных моделей, которые генерируют картинки и видео. Сам SGLang нужен, чтобы быстро запускать нейросети на своём оборудовании и обслуживать через них запросы.