модель · Mistral · вышла 15 октября
Timestral-5M
Лёгкая открытая модель Mistral для прогноза временных рядов, младшая из четырёх Timestral: считает прогноз за миллисекунды на обычном процессоре
О модели
Timestral-5M — самая маленькая модель в первой линейке Mistral для прогноза временных рядов. Временной ряд — это замеры, идущие друг за другом во времени: продажи, нагрузка на сеть, показания датчиков. Это не чат-бот: модель получает на вход числа из прошлого и выдаёт прогноз на будущее. В ней 5 млн параметров, в сорок раз меньше, чем у старшей Timestral-209M. Это трансформер на 8 слоёв, который режет ряд на отрезки по 32 шага; у старшей модели 24 слоя.
Все четыре модели Timestral обучали по одной схеме: сначала на полностью синтетических рядах, затем на смеси настоящих и синтетических данных. Различаются они размером и скоростью. По замерам Mistral, младшая модель строит прогноз на сутки вперёд по трём неделям замеров с шагом 15 минут примерно за 10 миллисекунд на обычном серверном процессоре. Старшей на ту же задачу нужно около 140 миллисекунд, зато она точнее. Компания заявляет, что каждая модель линейки показывает лучшую точность среди моделей своего размера.
Модель прогнозирует сразу, без дообучения на данных заказчика. Прогноз вероятностный: на каждый шаг она выдаёт не одно число, а 21 квантиль — границы, в которые значение попадёт с разной вероятностью. Она принимает несколько связанных рядов сразу, а также ряды-подсказки: известные только в прошлом и известные наперёд, например график производства или прогноз погоды. Понимает нечисловые признаки, такие как режим работы оборудования, и пропуски в данных. Mistral предлагает её там, где важна скорость ответа, например в промышленном мониторинге: по вероятностному прогнозу удобно поднимать тревогу в зависимости от уровня риска.
Веса выложены под изменённой лицензией MIT: она разрешает коммерческое применение и запрещает только использование модели в нарушение прав третьих лиц. Модель настолько мала, что работает на обычном процессоре без видеокарты, поэтому её можно запустить у себя, в том числе в закрытой сети без выхода в интернет. За один проход она прогнозирует до 1024 шагов вперёд; более дальний прогноз строится по частям, с опорой на собственный предыдущий прогноз. Точность у младшей модели ниже, чем у старших моделей линейки, а подробный технический отчёт компания обещает выпустить позже.
источники:Анонс Timestral в блоге Mistral ↗Карточка Timestral-5M на Hugging Face ↗Документация Timestral 1.0 ↗
Новости о модели
Mistral выпустила открытые модели Timestral для прогноза временных рядов
Старшая из четырёх моделей Timestral, по замерам Mistral, лидирует в трёх крупных тестах на прогноз временных рядов — например, продаж или показаний датчиков — и обходится без видеокарты.
Данные: models.dev (MIT).