GIFT-Eval
GIFT-Eval — открытый бенчмарк и публичный рейтинг моделей прогнозирования временных рядов, созданный Salesforce AI Research. Объединяет десятки разнородных наборов данных из разных отраслей и поддерживает проверку как дообученных, так и «нулевых» (zero-shot) базовых моделей, для чего предусмотрен отдельный набор для предобучения без пересечения с тестом.
проверено по: github.com ↗
См. также
- TimesFMСемейство предобученных базовых моделей Google Research для прогнозирования временных рядов (Time Series Foundation Model). Это декодерный трансформер, обученный на большом корпусе реальных и синтетических рядов. Он даёт прогнозы на новых данных без обучения под конкретный набор (zero-shot), в отличие от классических методов, которые настраивают под каждый ряд.
- Временной рядПоследовательность значений одного или нескольких показателей, упорядоченных по времени измерения (англ. time series): показания датчиков, курсы валют, продажи по дням. Чаще всего замеры делают через равные промежутки, но бывают и неравноотстоящие ряды. В отличие от обычной выборки, здесь важен порядок наблюдений, поэтому временные ряды анализируют особыми методами: выделяют тренд и сезонность, прогнозируют будущие значения, ищут аномалии.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- Фундаментальная модельБольшая модель, заранее обученная на огромном и разнообразном наборе данных (обычно с самообучением), которую затем приспосабливают к множеству разных задач с помощью дообучения или подсказок, а не обучают отдельную модель под каждую задачу. Термин (foundation model) ввели исследователи Стэнфордского университета в 2021 году. Понятие шире, чем большая языковая модель: так называют и модели для изображений, речи, биологии и других областей.
- Обучение в контекстеСпособность модели решать новую задачу по примерам и инструкциям, поданным прямо в запросе, без изменения её весов (in-context learning). Отличается от дообучения тем, что «выученное» действует только в рамках текущего контекста и не сохраняется в модели.
В новостях
IBM свела четыре модели прогноза временных рядов в один ансамбль
Открытый бенчмарк Salesforce для моделей прогноза временных рядов: наборы данных из разных областей, с разной частотой замеров и дальностью прогноза, и публичный рейтинг моделей.
Mistral выпустила открытые модели Timestral для прогноза временных рядов
Открытый бенчмарк Salesforce для моделей, которые прогнозируют временные ряды: задачи из разных областей, с замерами от посекундных до годовых.
IBM выпустила открытую модель для прогноза временных рядов PatchTST-FM-r2
Открытый бенчмарк и рейтинг моделей для прогнозирования временных рядов. Проверяет модели на разнородных наборах данных и в разных сценариях прогноза.