Стартап Reflection AI выложил в открытый доступ первую модель Beam для кода и ИИ-агентов

Стартап Reflection AI¹ 16 октября выложил на Hugging Face открытые веса Beam — своей первой модели на 501 млрд параметров для программирования и ИИ-агентов — под лицензией Apache 2.0².

Почему это важно: до сих пор Beam знали только по анонсу и замерам самого стартапа. Теперь модель могут разворачивать у себя компании и облачные сервисы, дообучать и встраивать в свои продукты, в том числе платные.

Предыстория: стартап показал Beam 5 октября и обещал открыть веса в том же месяце. По его заявлению, в задачах на рассуждение модель не уступает китайской GLM 5.2, а вычислений на ответы тратит в 3–4 раза меньше.

Расклад: днём раньше, 15 октября, Meta* выложила открытую Muse Spark Open на 816 млрд параметров — тоже для кода и агентов. Но крупным продавцам доступа к ней нужен договор с Meta, а лицензия Beam таких условий не ставит.

Как это работает: Beam принимает и выдаёт только текст, держит в контекстном окне³ до 1 млн токенов и устроена как смесь экспертов:

• Из 256 «экспертов» — небольших подсетей — на каждый токен включаются восемь, и в расчёте участвует около 23 млрд параметров из 501 млрд.
• Отвечает Beam со скоростью модели на 23 млрд параметров, но держать в памяти ускорителей приходится все 501 млрд.
• Весь текст видят лишь 9 слоёв из 52, остальные смотрят на последние 512 токенов. Поэтому память под длинный разговор растёт примерно вшестеро медленнее, чем если бы весь текст видели все слои.
• Глубину рассуждений выбирают из пяти уровней, а для работы агентом стартап выложил собственную открытую обвязку⁴ на языке Rust.

В цифрах: для запуска Beam нужны серверные ускорители.

• Веса в полной точности BF16 занимают около 1 ТБ, а сжатая версия NVFP4 — около 280 ГБ.
• NVFP4 работает только на ускорителях NVIDIA поколения Blackwell: веса помещаются в два B200, но Hugging Face советует брать четыре.
• Для более старых ускорителей есть версия FP8 — например, для сервера с восемью NVIDIA H200.
• Без своего оборудования модель можно попробовать через Baseten, Fireworks и Together на площадке Hugging Face.

Детали: Hugging Face вместе с Reflection AI выложила рецепты дообучения. На одном сервере с восемью ускорителями B300 Beam дообучили методом LoRA (он добавляет к замороженной модели небольшой набор новых весов), чтобы она рассуждала на языке пользователя. После одного прохода по данным модель делала это в 16 проверочных запросах из 16, а исходная — в трёх.

Но: свои пробы на пяти задачах Hugging Face называет прикидкой, а не бенчмарком: при низком уровне рассуждений в двух задачах модель ответила не так, как просили. А в приложении для диктовки на Mac, которое Beam написала для команды Hugging Face, итоговый код содержит и более поздние исправления от агента Codex.

Что дальше: Reflection AI раздаст авторам лучших проектов на Beam — демо, сжатых версий модели, наборов данных и замеров — 10 тыс. долларов кредитами Hugging Face, внутренней валютой площадки для оплаты её сервисов.