IBM выпустила PatchTST-FM-r2 — открытую модель для прогнозов временных рядов
Модель Granite Time Series PatchTST-FM-r2 на 385 млн параметров прогнозирует ряды без дообучения. В рейтинге GIFT-Eval она вторая среди воспроизводимых моделей и первая среди моделей со свободной коммерческой лицензией.
IBM выложила на Hugging Face модель Granite Time Series PatchTST-FM-r2. Она прогнозирует спрос, цены, энергопотребление, трафик и показания датчиков. Обучать её под свои данные не нужно: достаточно подать недавнюю историю ряда, и модель выдаст прогноз. Лицензий две на выбор — Apache 2.0 и OpenMDW 1.0, обе разрешают коммерческое использование.
По данным IBM на 8 сентября, в рейтинге GIFT-Eval модель заняла второе место среди воспроизводимых моделей, которые видят тестовые ряды впервые. Первое место у TimesFM-3 от Google. Среди моделей со свободными лицензиями PatchTST-FM-r2 лучшая. Если добавить в сравнение модели, которым разрешали учиться на тренировочной части бенчмарка, она опускается на третье-четвёртое место. Но всё равно обходит Chronos-2, Timer-S1 и варианты Toto, хотя часть конкурентов заметно крупнее.
У модели около 385 млн параметров. Она принимает историю длиной до 8 192 точек и выдаёт не одно число, а 99 квантилей. Из них получается интервал неопределённости: насколько прогноз может ошибиться в ту или другую сторону. Умеет модель и заполнять пропуски в данных.
По сравнению с первой версией IBM переделала внутреннее устройство. Обычные слои трансформера заменили на конформерные — это приём из распознавания речи. В нём свёртка ловит короткие локальные закономерности, а механизм внимания освобождается для дальних связей. Кроме того, ряд режется на фрагменты с перекрытием в 50%, чтобы на их стыках прогноз не скакал. Число блоков выросло с 20 до 30.
IBM подробно описала, на чём училась модель: отобранные наборы из GiftEvalPretrain, синтетические ряды и около 500 000 сгенерированных последовательностей. Данные, на которых модель проверяют в GIFT-Eval, в обучение специально не включали. Компания подчёркивает, что для корпоративных клиентов такая прозрачность бывает важнее пары лишних позиций в рейтинге.
Предыдущие модели семейства IBM вместе с Confluent уже встроила в облачный сервис потоковой обработки данных. Там прогнозы и поиск аномалий строятся прямо на поступающих данных. Пока это программа раннего доступа, и PatchTST-FM-r2 в стартовый набор не вошла.