Black Forest Labs выложила модель, которая дописывает запросы к модели картинок FLUX 3 Image Klein

Black Forest Labs выложила FLUX 3 Image Klein Prompt Upsampler — открытую модель на 9 млрд параметров, которая превращает короткую просьбу в подробный запрос для модели картинок FLUX 3 Image Klein от той же компании.

Почему это важно: по словам разработчиков, Klein не рассчитана на работу без такого посредника — ни при рисовании, ни при правке картинок. Если отправить ей короткий запрос как есть, получится шаблонное изображение.

Детали: из просьбы «мужчина гуляет с собакой, послеполуденное солнце» посредник сделал описание на 220 слов. По нему картинка должна выглядеть как цветное фото, снятое на уровне глаз. Там же заданы низкое солнце справа сверху, длинные тени на тротуаре и мужчина за тридцать в выцветшей оливковой рубашке поверх серой футболки.

Как это работает: одна модель решает три задачи, а режим выбирают системным промптом. Промптов четыре, потому что рамки с координатами можно добавить и к рисованию, и к правке. Вот что посредник делает в каждой задаче:

• При рисовании по тексту посредник заранее решает за модель картинок стиль, сцену, свет, ракурс, цвета и место каждого предмета, а надписи переносит дословно.
• При правке он смотрит на образцы, которых можно дать до 10, и пишет, что изменить, а что оставить, называя предметы по внешнему виду.
• Рамки с координатами, которые задал пользователь, он без изменений переносит в таблицу после запроса и ссылается на каждую по номеру, чтобы предмет встал на своё место.

Интрига: посредника учили на картинках, которые получаются по его же запросам. Сначала его обучили на парах «короткая просьба — развёрнутый запрос». Затем Klein рисовала по двум запросам самого посредника с одинаковой настройкой случайности, и по картинкам решали, какой из двух запросов удачнее. На таких парах посредника дообучали писать запросы, похожие на более удачный.

Как подключить: включить посредника можно двумя способами, а можно заменить его другой моделью:

• Код Black Forest Labs для запуска FLUX 3 включает его по умолчанию, а отключить его можно отдельным параметром запуска.
• В шаблонах программы ComfyUI¹ для рисования по тексту у посредника есть отдельный переключатель.
• Вместо него подойдёт любая другая языковая модель, если дать ей системные промпты, опубликованные компанией.

Но: ограничения авторы называют сами:

• Запросы посредник пишет только по-английски, хотя просьба может быть на любом языке.
• Его учили только вместе с FLUX 3 Image Klein, другие модели картинок в обучении не участвовали.
• Образцы перед обработкой уменьшаются, до 1 мегапикселя для одного и сильнее для нескольких, поэтому мелкие детали он может описать неверно.
• Посредник не отказывается ни от каких просьб, а проверка запросов и картинок в коде компании включается отдельно.

Посредник сделан дообучением² модели Qwen3.5-9B от Alibaba: переучили всю модель, кроме части, которая отвечает за зрение. Как и Qwen3.5-9B, он открыт под лицензией Apache 2.0³. Сама FLUX 3 Image Klein вышла под собственной лицензией компании FLUX Kommunity License, которая ограничивает коммерческое использование.

Подробнее: Black Forest Labs выложила открытую модель для картинок FLUX 3 Image Klein