FLUX 3 Action

FLUX 3 Action — модель «мира и действий» на 7 млрд параметров для управления роботами-манипуляторами. Её собрали на основе FLUX 3, мультимодальной модели лаборатории. Больше 95% данных, на которых учили FLUX 3, — видео. На вход FLUX 3 Action получает кадры с нескольких камер, текущее положение суставов робота и текстовую команду. На выходе — пакет следующих движений примерно на две секунды вперёд и предсказанные кадры: что камеры увидят после этих движений. Устроена модель как диффузионный трансформер, то есть получает результат, постепенно убирая шум. Кадры и действия очищаются от шума вместе, в одной последовательности, а текст команды разбирает встроенная модель Qwen3-VL-4B.

Распространённые модели VLA («зрение — язык — действие») выдают только движения. FLUX 3 Action заодно прогнозирует видео, и это обычно делает модель медленнее. BFL заявляет, что избавилась от этого размена: её модель планирует вдвое с лишним дальше вперёд, чем открытая Pi0.5, и при этом тратит меньше времени на каждую секунду движения робота. По замерам лаборатории, на бенчмарке RoboLab-120 от NVIDIA модель справилась с 42,92% заданий и заняла первое место в таблице. Это на 6,1 процентного пункта больше, чем у прежней лучшей открытой модели Cosmos 3 Nano, хотя параметров у FLUX 3 Action меньше вдвое, а работает она до 3,95 раза быстрее.

Модель рассчитана на то, что её дообучат под конкретного робота. Лаборатория выложила веса, код, рецепт дообучения и примеры. Уже есть готовые версии для руки Franka (набор данных DROID) и недорогого манипулятора SO-101 из проекта LeRobot. По данным BFL, для нового задания хватает около 200 эпизодов, записанных при ручном управлении роботом, а на реальной руке Franka модель выполнила 28 попыток из 30. Лаборатория также показала дообучение для видеоигр и полётов дрона в симуляторе. Ещё один предложенный вариант — связка с рассуждающей моделью: та разбивает задачу на шаги, а FLUX 3 Action быстро выполняет движения.

Веса распространяются по лицензии FLUX Kommunity License v1.0. Она, среди прочего, запрещает управлять машиной так, чтобы это угрожало людям, если за ней не следит человек. Модель выдаёт целевые положения суставов, но сама не ограничивает скорость, силу и рабочую зону. Эти пределы разработчик задаёт сам, а лаборатория советует сначала проверять поведение в симуляторе. Задачи, которые требуют долгого планирования или разбиения на много шагов, модель в одиночку не решает. Кроме того, после каждого пакета движений ей нужны свежие кадры с камер: на устаревших данных качество падает.

источники:Страница модели на сайте Black Forest Labs ↗Рассказ лаборатории о модели на Hugging Face ↗Карточка модели и лицензия ↗