Система TensorDex сжала 2 890 моделей с Hugging Face на 70% без потерь

Система TensorDex хранит каждую часть дообученной копии открытой модели как разницу с похожей частью другой модели. На 2 890 моделях с Hugging Face она без потерь сэкономила 70,5% места.

Почему это важно: хранилища открытых моделей быстро растут, и почти всё место в них занимают дообученные¹ копии, которые мало отличаются от исходных. TensorDex экономит больше места, чем лучшая прежняя система, и восстанавливает каждую модель до последнего бита.

Повод: 15 октября авторы выложили третью версию статьи, первая вышла в апреле. Работа вошла в программу конференции SOSP 2026² в Праге, и, по словам авторов, её код и данные получили там награду Distinguished Artifact Award.

Общая картина: вот как, по данным статьи, растёт хранилище Hugging Face, главной площадки открытых моделей:

• В 2023 году модели и датасеты занимали там 0,28 петабайта³, а к концу 2025-го — больше 76 петабайт.
• Сооснователь Hugging Face Жюльен Шомон написал, что за пять месяцев после конца 2025 года объём удвоился, а до конца 2026-го превысит эксабайт, то есть тысячу петабайт.
• К 2025 году на дообученные версии приходилось 99,1% места под модели, а среди самих моделей их было 99,6%.

Как это работает: дообучение понемногу меняет числа модели, поэтому её выгоднее хранить как разницу с похожей моделью. TensorDex подбирает образец не для модели целиком, а для каждого её тензора — отдельной таблицы чисел, например весов одного слоя.

Расклад: прежние системы, включая ZipLLM, которую в 2025 году сделали те же авторы, подбирают один образец на всю модель. У такого подхода две проблемы:

• Только у 25,8% из 2,75 млн репозиториев Hugging Face указано, от какой модели они произошли (данные на март 2026 года), а без этой пометки модели приходится сравнивать байт за байтом.
• Лучшие образцы для разных частей одной модели лежат в разных моделях: для четырёх случайных тензоров Qwen-3B-Instruct они нашлись в четырёх разных моделях.

Детали: чтобы не сравнивать таблицы из миллионов чисел, система снимает с каждого тензора «отпечаток» размером 8 КБ. По отпечаткам тензора и кандидата в образец она предсказывает, насколько хорошо сожмётся тензор, если хранить его как разницу с этим кандидатом. На 5,7 млн таких пар прогноз ошибся в среднем на 1,1 процентного пункта.

В цифрах: вот результаты на 2 890 моделях, посчитанные после удаления точных дубликатов:

• Вариант TensorDex, настроенный на сильное сжатие, сэкономил 70,5% места, а ZipLLM — 53,4%.
• Выходит, что после сжатия у TensorDex остаётся на 37% меньше данных, чем у ZipLLM.
• Быстрый вариант экономит 65,1% места и сжимает модели со скоростью 22,9 ГБ в секунду — в 3,86 раза быстрее ближайшего соперника.
• Распаковывает он 28,4 ГБ в секунду, так что при загрузке из облака Amazon S3 или с дисков модель упирается в скорость чтения данных, а не в распаковку.

Но: выборку брали не по всей площадке, а среди дообученных версий восьми семейств — разных поколений Qwen, Llama, Mistral и Gemma. Небольшие надстройки LoRA и квантованные⁴ копии, по словам авторов, тоже подходят без переделки системы, но проверяли её на полных копиях моделей.

Код TensorDex открыт под лицензией Apache 2.0.