Black Forest Labs выпустила FLUX 3 Action — открытую модель для роботов
Модель на 7 млрд параметров по кадрам с камер и текстовой команде выдаёт движения робота и заодно предсказывает, что камера увидит дальше.
Немецкая Black Forest Labs1, создатель генеративных моделей FLUX, выложила на Hugging Face FLUX 3 Action — открытую модель на 7 млрд параметров, которая управляет роботом по кадрам с камер и текстовой команде.
Почему это важно: компания, известная генераторами картинок, выпустила модель для роботов, и её можно скачать и дообучить под свою руку-манипулятор, симулятор или игру.
Как это работает: модель получает кадры с камер, текущее состояние робота и инструкцию и выдаёт следующую порцию движений. Движения она восстанавливает из шума вместе со следующими кадрами видео — тем же способом, каким генераторы рисуют картинки. Поэтому авторы называют её моделью мира и действий: по запросу она показывает, что, по её расчёту, увидит камера.
Детали: этот репозиторий — не готовая программа управления, а основа, которую подгоняют под конкретного робота. В нём три части:
- Базовые веса: потоки для видео и текста, общий блок действий и выходные блоки двух типов, ee50 и игровой.
- Общий видеокодировщик, который сжимает кадры перед обработкой.
- Текстовый кодировщик — неизменённая копия Qwen3-VL-4B-Instruct, модели Alibaba, понимающей текст и изображения.
Расклад: готовые версии для открытой руки-манипулятора SO-1012 и для данных DROID3 лежат в той же коллекции и подключают общие кодировщики сами. Для нового робота, симулятора или игры придётся обучить собственные выходные блоки, инструкция по дообучению есть в документации.
Но: модель выдаёт целевые положения суставов и никак не ограничивает скорость, усилие и рабочую зону. Эти пределы должно задавать приложение, а аварийная остановка должна быть под рукой. Прежде чем запускать робота рядом с людьми, разработчики советуют проверить его в симуляторе или с включёнными защитными ограничениями руки.
Веса вышли под собственной лицензией компании FLUX Kommunity License v1.0, текстовый кодировщик — под Apache-2.0. Среди прочего лицензия запрещает управлять машиной так, чтобы она угрожала людям, без надзора человека и способа её остановить.