ComfyUI
ComfyUI — открытая программа с узловым (графовым) интерфейсом для генерации изображений и видео диффузионными моделями: пользователь собирает конвейер из соединённых узлов и точно управляет каждым шагом. Дополнительные возможности подключаются через сторонние узлы-расширения.
проверено по: github.com ↗
См. также
- Диффузионная модельКласс генеративных моделей. При обучении к данным постепенно добавляют шум, а модель учится убирать его шаг за шагом; при генерации она начинает со случайного шума и за несколько итераций превращает его в результат. Это основной подход к генерации изображений, видео и звука. Есть и текстовые диффузионные модели: в отличие от обычных языковых моделей, они не пишут текст по одному токену, а уточняют весь ответ целиком.
- DiffusersОткрытая библиотека Hugging Face на Python для запуска, дообучения и создания диффузионных моделей, генерирующих изображения, видео и звук. Даёт единый интерфейс готовых конвейеров (pipeline) и отдельных компонентов, поэтому поддержка модели в Diffusers обычно означает, что её легко запустить локально или в своём коде.
- Black Forest LabsНемецкая ИИ-компания из Фрайбурга, которая разрабатывает генеративные модели FLUX для создания и редактирования изображений и видео. Её основали исследователи, создавшие технологию латентной диффузии, на которой построена Stable Diffusion.
- Stability AIБританская компания со штаб-квартирой в Лондоне, которая разрабатывает генеративные модели для создания изображений, видео, звука, 3D-объектов и текста. Наиболее известна генератором изображений по текстовому описанию Stable Diffusion, чьи исходный код и веса выложены в открытый доступ. Также выпускает музыкальные и звуковые модели Stable Audio. В отличие от многих конкурентов с закрытыми моделями, делает ставку на открытые веса, которые разработчики могут скачивать и дообучать.
В новостях
Сообщество ускорило открытую видеомодель MiniMax H3 и перенесло её на Mac
Бесплатная программа с открытым кодом, в которой генерацию картинок, видео и звука собирают из блоков-узлов, как схему. Популярна у тех, кто запускает открытые модели на своём компьютере.
Black Forest Labs выложила модель, которая дописывает запросы к модели картинок FLUX 3 Image Klein
Открытая программа для создания изображений и видео с помощью моделей: процесс в ней собирают из блоков-узлов, соединённых в схему.
Black Forest Labs выложила открытую модель для картинок FLUX 3 Image Klein
Программа с открытым кодом для генерации картинок и видео: процесс в ней собирают из блоков, соединённых на схеме, и запускают на своём компьютере.
Intel добавила в OpenVINO модель Alibaba для картинок Qwen-Image-2.1
Программа с открытым кодом для генерации картинок и видео: процесс в ней собирают на схеме из блоков, каждый отвечает за свой шаг.
NVIDIA, Alibaba и энтузиасты ускорили открытую видеомодель MiniMax H3
Бесплатная программа с открытым кодом для генерации картинок и видео: процесс собирают на экране из блоков-узлов в виде схемы, которую можно сохранить и передать другим.
Hugging Face пересобрала AUTOMATIC1111 из 73 узлов на холсте Gradio
Открытый редактор для генеративных моделей, где процесс создания изображения или видео собирают из узлов, соединённых в граф.