SenseNova выпустила модель, которая повторно обрабатывает данные

Команда SenseNova 30 октября выпустила SenseNova-Loop-9B-Preview — модель для текста и изображений, которая дважды пропускает данные через один блок слоёв, используя те же параметры.

Как это работает: Модель состоит из 32 разных слоёв — последовательных этапов обработки данных. Блок из 24 слоёв выполняется дважды: второй проход получает результат первого. В сумме получается 56 вычислений слоёв без отдельной копии весов — параметров повторяемого блока.

Детали: Модель выдаёт текст и предназначена для разбора документов, программирования и выполнения задач с внешними инструментами. Внутри повторяемого блока данные идут по двум потокам, а механизм их смешивания и передачи между этапами настраивается при обучении модели.

В цифрах: Максимальная длина обучающих последовательностей составляла 262 144 токена — единицы, на которые модель разбивает входные данные. В обучении сочетался текст, изображения, код и примеры последовательных действий с инструментами.

Расклад: Веса и код модели доступны на Hugging Face. В инструкции приведён пример генерации текста на одной видеокарте, а для дообучения — конфигурация с восемью видеокартами в одном серверном узле.

Но: Программа запуска должна воспроизводить порядок повторных проходов и передачу данных внутри модели. Для этого ей нужна поддержка специальной реализации SenseNova Loop и настроек, сохранённых вместе с весами.

Что дальше: Разработчики обучают вспомогательные модели DSpark и DFlash2 для ускорения генерации. Авторы отмечают, что фактический выигрыш в скорости зависит от задачи, оборудования и настроек запуска.