Timestral-123M

Timestral-123M — одна из четырёх моделей первой линейки Mistral для прогноза временных рядов. Временной ряд — это значения, которые снимают через равные промежутки времени: продажи по дням, показания датчиков. Это не языковая модель: она не ведёт диалог и не работает с текстом. Она получает историю ряда и выдаёт его продолжение. Внутри у неё трансформер на 123 млн параметров и 20 слоёв: он режет ряд на фрагменты по 32 точки и отдельно отслеживает связи во времени и связи между показателями одного ряда.

Прогноз у неё вероятностный: вместо одного числа модель выдаёт 21 квантиль, то есть уровни от 1% до 99%. По ним видно и ожидаемое значение, и разброс возможных исходов. Модель учитывает ковариаты — сопутствующие данные, которые влияют на ряд. Они бывают известны только за прошлое или заранее, на весь срок прогноза, и бывают числовыми или категориальными. Mistral обучала линейку в основном на синтетических рядах с реалистичной динамикой, а затем дообучила на смеси реальных и синтетических данных. Поэтому модель прогнозирует сразу, без обучения на данных конкретной компании.

Компания заявляет, что Timestral-123M отстаёт от старшей Timestral-209M по итоговому баллу меньше чем на 0,2%, а прогноз считает примерно за три четверти её времени. Старшая модель, по замерам Mistral, занимает первое место во всех трёх главных открытых рейтингах прогнозирования, в том числе в GIFT-Eval и TIME. Младшие версии на 28M и 5M параметров ещё быстрее, но менее точны. Вся линейка работает на обычном процессоре, без видеокарты. Mistral предлагает её для промышленных задач: искать аномалии в показаниях датчиков, следить за постепенным уходом показателей оборудования от нормы, планировать обслуживание, встраивать прогнозы в агентные процессы вместе с языковыми моделями.

Веса выложены под изменённой лицензией MIT. Она, в частности, запрещает использовать модель с нарушением чужих прав, включая интеллектуальную собственность. Открытые веса позволяют разворачивать модель на своих серверах, в том числе в изолированной сети без выхода в интернет. Её можно и дообучить на собственных данных, для этого у Mistral есть сервис Mistral Forge. Компания предупреждает, что реальные данные бывают сильно непохожи на тестовые наборы, поэтому места в рейтингах не гарантируют такой же точности на конкретной задаче.

источники:Анонс Timestral в блоге Mistral ↗Карточка Timestral-123M на Hugging Face ↗Документация Timestral 1.0 ↗