Diffusers
Открытая библиотека Hugging Face на Python для запуска, дообучения и создания диффузионных моделей, генерирующих изображения, видео и звук. Даёт единый интерфейс готовых конвейеров (pipeline) и отдельных компонентов, поэтому поддержка модели в Diffusers обычно означает, что её легко запустить локально или в своём коде.
проверено по: huggingface.co ↗
См. также
- Hugging FaceАмериканская компания с французскими основателями и крупнейшая платформа, где публикуют, ищут и скачивают модели машинного обучения, прежде всего с открытыми весами, а также датасеты и демо-приложения (Spaces). Её часто называют «GitHub для машинного обучения». Компания также разрабатывает популярную открытую библиотеку Transformers.
- Диффузионная модельКласс генеративных моделей. При обучении к данным постепенно добавляют шум, а модель учится убирать его шаг за шагом; при генерации она начинает со случайного шума и за несколько итераций превращает его в результат. Это основной подход к генерации изображений, видео и звука. Есть и текстовые диффузионные модели: в отличие от обычных языковых моделей, они не пишут текст по одному токену, а уточняют весь ответ целиком.
- TransformersОткрытая библиотека Hugging Face для Python с готовыми реализациями нейросетевых архитектур для текста, изображений, звука и мультимодальных задач. Через неё загружают модели с Hugging Face Hub, запускают и дообучают их, а другие инструменты обучения и инференса опираются на её описания моделей. Это программная библиотека, а не архитектура «трансформер», в честь которой она названа.
- ComfyUIComfyUI — открытая программа с узловым (графовым) интерфейсом для генерации изображений и видео диффузионными моделями: пользователь собирает конвейер из соединённых узлов и точно управляет каждым шагом. Дополнительные возможности подключаются через сторонние узлы-расширения.
В новостях
Alibaba открыла веса Qwen-Image-2.1, модели для генерации и правки картинок
Библиотека Hugging Face с открытым кодом для запуска моделей, которые создают изображения, видео и звук.