Black Forest Labs выпустила открытую модель FLUX 3 Action для роботов
Модель на 7 млрд параметров получает кадры с камер, положение робота и текстовую команду. По ним она выдаёт следующие движения и одновременно предсказывает, что покажет камера.
Black Forest Labs опубликовала на Hugging Face открытые веса1 FLUX 3 Action — модели на 7 млрд параметров для управления роботами, следует из карточки модели. Кроме базовой версии для адаптации к новым машинам, компания выложила две готовые управляющие версии: одна обучена для манипулятора SO-1012, другая — на наборе данных DROID3.
Black Forest Labs — стартап из немецкого Фрайбурга, основанный в 2024 году выходцами из Stability AI. Компания известна моделями FLUX для генерации изображений.
Разработчики называют FLUX 3 Action моделью мира и действий. На вход она получает кадры с камер, текущее положение робота и команду текстом, а на выходе даёт следующую серию движений. Эти движения модель генерирует одновременно со следующими кадрами видео. Способ — расшумление: шаг за шагом модель убирает шум, пока из него не проступят и кадры, и движения. По запросу модель показывает и эти кадры — то, как, по её прогнозу, будет выглядеть сцена.
Авторы подчёркивают, что базовая версия — это заготовка для адаптации, а не готовая программа управления роботом. В неё входят основа модели, видеокодировщик и текстовый кодировщик. Роль текстового кодировщика играет неизменённая копия Qwen3-VL-4B-Instruct — модели Alibaba, которая понимает текст и изображения.
Видео и текст внутри основы обрабатывают отдельные ветви, а за действия отвечает общий блок — один для всех устройств. Команды для конкретного устройства выдают подключённые к нему выходные блоки, так называемые головы.
Готовых голов в комплекте две. Одна — для игр: модель рассчитана не только на роботов и умеет выдавать действия и в играх. Вторая обозначена ee50, её назначение в карточке не расшифровано. Для нового робота, симулятора или игры голову нужно обучить отдельно, инструкция по дообучению приложена.
«Ничто в модели не ограничивает скорость суставов, усилие или рабочую зону; приложение должно само соблюдать эти пределы и держать под рукой средство аппаратной остановки», — предупреждают разработчики. Модель выдаёт целевые положения суставов. Прежде чем запускать её рядом с людьми, авторы советуют проверить её в симуляторе или с включёнными защитными ограничениями манипулятора.
Модель распространяется под собственной лицензией компании FLUX Kommunity License v1.0, текстовый кодировщик — под Apache 2.0. В карточке также перечислены запрещённые сценарии. Среди них — управление машиной без надзора человека и без возможности её остановить, если это угрожает людям.
В июле Black Forest Labs представила семейство FLUX 3. Тогда же компания вместе с цюрихским стартапом Mimic показала первую модель для роботов на основе FLUX 3.