Timestral-28M

Timestral-28M — одна из четырёх моделей линейки Timestral. Это первая линейка Mistral, которая работает не с текстом, а с временными рядами — числами, снятыми через равные промежутки времени: продажами по дням, показаниями датчика каждые 15 минут. Модель получает историю ряда и строит вероятностный прогноз. Вместо одного числа она выдаёт 21 квантиль от 1% до 99%, то есть диапазоны, в которые значение попадёт с той или иной вероятностью. Прогноз она строит сразу, без обучения на данных заказчика.

Внутри — трансформер (та же архитектура, что у языковых моделей) из 12 слоёв. Ряд нарезается на отрезки по 32 шага. Модель учитывает до 32 768 шагов истории и за один проход прогнозирует до 1024 шагов вперёд, а более дальний прогноз строит блоками. У всех четырёх размеров (5M, 28M, 123M и 209M) одна архитектура и один рецепт обучения. Mistral объясняет разницу так: старшие точнее, младшие быстрее и дешевле. По замерам компании, 28M работает в пять раз быстрее 209M. В тестах GIFT-Eval и TIME она обходит модель Chronos-2, которая примерно вчетверо больше. Mistral также заявляет, что каждая модель Timestral лучше всех других моделей своего размера.

Модель может прогнозировать несколько связанных рядов сразу и учитывать ковариаты — дополнительные данные, от которых зависит прогноз. Это могут быть данные, известные только в прошлом (например, уже наблюдавшаяся погода), и данные, известные заранее (праздники, плановые акции). Ковариаты бывают числовыми или категориальными. Видеокарта не нужна: на обычном серверном процессоре прогноз на сутки вперёд по трём неделям 15-минутных данных у младшей 5M занимает 10 мс, у старшей 209M — 140 мс. Поэтому Mistral предлагает разворачивать модели у себя, в закрытом облаке или в сети без выхода в интернет. В числе сценариев компания называет наблюдение за датчиками, поиск аномалий, прогноз обслуживания оборудования и агентные процессы вместе с языковыми моделями.

Это не чат-модель: она принимает только ряды значений и признаки, а на выходе даёт числа. Чтобы работать с вопросами на обычном языке, её подключают к языковой модели. Веса распространяются по модифицированной лицензии MIT, где отдельно запрещено использовать модель с нарушением прав третьих лиц, включая интеллектуальную собственность. Дообучить модель на своих данных можно через платформу Mistral Forge.

источники:Анонс линейки Timestral ↗Карточка Timestral-28M на Hugging Face ↗