Hugging Face утроила хранилище для Ai2 и сняла с её моделей лимиты на скачивание

Модели и датасеты Ai2¹ на Hugging Face теперь можно скачивать на полной скорости: стандартные лимиты платформы на них больше не распространяются. Заодно Hugging Face примерно втрое увеличила место под проекты института — почти до двух петабайт. Условия действуют сразу.

Ai2 — некоммерческий исследовательский институт из Сиэтла. Он выкладывает не только готовые модели, но и всё, что к ним привело: обучающие данные, промежуточные версии модели (чекпоинты²), рецепты смешивания данных и результаты экспериментов. Такие архивы весят много, и лимиты на скачивание особенно мешали с крупнейшими датасетами. По подсчётам Hugging Face, Ai2 публикует за год больше новых моделей, датасетов и других материалов, чем любая другая организация на платформе. С весны 2024 года её модели и датасеты скачали больше 50 млн раз.

«Разрабатывать модели полностью открыто — основа нашей работы. Это значит публиковать всё, что ведёт к модели, и саму модель», — говорит временный глава Ai2 Питер Кларк. Глава Hugging Face Клеман Деланг насчитал у института больше 900 моделей и 1 200 датасетов на платформе.

Сотрудничество началось не сегодня. Весной Hugging Face встроила робототехническую модель MolmoAct 2 в свою открытую библиотеку LeRobot³. Её можно дообучать и запускать даже на недорогих манипуляторах SO-100 и SO-101. За три с небольшим недели модели и датасеты MolmoAct 2 скачали больше 400 000 раз. Бенчмарк olmOCR-Bench⁴, который проверяет, как модели читают таблицы, рукописный текст и документы в несколько колонок, Hugging Face выбрала своим основным тестом для распознавания текста и подключила к рейтингу моделей.

Дополнительное место понадобится для будущих проектов: Ai2 обещает мультимодальные модели, агентов, которые умеют пользоваться инструментами, и открытые модели для учёных. Сроков выпуска институт не называет. Финансовые условия соглашения тоже не раскрываются.