ИИтак

← Назад

Black Forest Labs объяснила, зачем учила генератор картинок, видео и звука FLUX 3 на всём сразу

Разработчики генератора картинок, видео и звука FLUX 3 объяснили, зачем учили его на видео со звуком: движущаяся камера показывает модели обратную сторону предмета, а звук помогает определить, когда произошло событие.

Black Forest Labs обучала FLUX 3 на изображениях, видео и звуке вместе. В интервью Latent Space 16 ноября разработчики Андреас Блаттман и Дастин Поделл объяснили, что каждый вид данных добавляет модели.

Движущаяся камера показывает обратную сторону предмета, которую не видно на отдельном снимке. Звуковая дорожка даёт дополнительную подсказку о том, когда произошло событие. FLUX 3 также генерирует видео и звук вместе.

Ещё один довод разработчиков в пользу обучения на видео связан с повышением разрешения роликов. Программа, которая это делает, должна сохранять детали от кадра к кадру, иначе изображение начинает мерцать.

15 октября Black Forest Labs выложила FLUX 3 Image Klein — модель для создания и редактирования изображений.

Одним из неожиданных для Поделла применений FLUX стало восстановление старых фотографий. По его словам, пользователи показывают результаты своим семьям.

← Все новости