Timestral-209M

Timestral-209M — старшая из четырёх моделей линейки Timestral. Это первая линейка Mistral для прогноза временных рядов. Временной ряд — это значения, снятые через равные промежутки времени: продажи по дням, показания датчика каждые 15 минут, нагрузка на электросеть. Timestral — не языковая модель: она не читает и не пишет текст, а получает на вход историю чисел и выдаёт прогноз. Внутри у неё трансформер на 24 слоя, который режет ряд на короткие отрезки и отслеживает связи как во времени, так и между несколькими рядами сразу.

Прогноз вероятностный: на каждый шаг модель выдаёт не одно число, а 21 квантиль — уровни от 1% до 99%, ниже которых значение окажется с заданной вероятностью. Так видно не только ожидаемое значение, но и возможный разброс. Модель работает с одним рядом или с несколькими связанными и учитывает сопутствующие данные (ковариаты): и те, что известны только за прошлое, и те, что заранее известны на будущее, например праздники или запланированные акции. Она смотрит на историю длиной до 32 768 шагов и за один проход строит прогноз до 1024 шагов вперёд, более длинный — по частям. Обучали её в основном на синтетических рядах с реалистичными закономерностями, а затем дообучали на смешанных данных.

Главное, что обещает Mistral, — прогноз без дообучения: модель берут готовой и сразу подают ей ряды, которых она раньше не видела, в том числе из областей, где данных мало. По замерам компании, в таком режиме она занимает первое место на всех трёх главных открытых бенчмарках прогноза, среди них GIFT-Eval, и обходит более крупные TimesFM-3 и Falcon-2.0. Сценарии, которые называет Mistral: наблюдение за промышленным оборудованием и поиск сбоев, планирование поставок и мощностей, финансовые прогнозы — денежные потоки, объёмы, волатильность.

Видеокарта модели не нужна. По данным Mistral, на обычном серверном процессоре прогноз на сутки вперёд по трём неделям истории с шагом 15 минут занимает у неё около 140 мс, у самой маленькой Timestral-5M — 10 мс. Соседняя Timestral-123M отстаёт по точности примерно на 0,2% и работает быстрее, поэтому старшую берут, когда важна каждая доля точности. Веса выложены под изменённой лицензией MIT, код — под Apache 2.0: модель можно разворачивать на своих серверах, в том числе в сетях без выхода в интернет, и дообучать под свои данные через Mistral Forge. Сама компания оговаривается, что реальные данные часто отличаются от тестовых, и для таких случаев советует дообучение; в API Mistral модель пока доступна как публичная предварительная версия.

источники:Анонс Timestral в блоге Mistral ↗Карточка Timestral-209M на Hugging Face ↗Документация Timestral 1.0 ↗