ИИ-модели Google предсказали рекордную жару лучше европейского прогноза

Две погодные ИИ-модели Google — WeatherNext 2 и её предшественница GenCast¹ — предсказали жару 2022 года на суше, в том числе рекордную, лучше физического прогноза ECMWF². Это показал новый препринт.

Его 14 октября выложили на arXiv пятеро исследователей во главе с Якобом Весселем. Среди них — метеорологи Лейпцигского университета Себастьян Зиппель и Марлене Кречмер.

Почему это важно: препринт прямо отвечает на работу в Science Advances, которая в мае пришла к обратному выводу: рекорды жары, холода и ветра лучше предсказывают физические модели. Метеоцентры как раз начинают подмешивать ИИ-модели в свои прогнозы, а на прогнозах держатся предупреждения об опасной погоде.

Предыстория: ту работу вела группа Чжунвэя Чжана из Технологического института Карлсруэ. Она сравнила ИИ-модели GraphCast, Pangu-Weather и FuXi с HRES — подробным физическим прогнозом ECMWF. Вывод: ИИ систематически недооценивает силу и частоту рекордов. «Там, где высоки риски, нельзя полагаться только на ИИ», — говорил тогда Чжан.

Как это работает: авторы нового препринта считают то сравнение неравным. GraphCast и похожие модели выдают один прогноз и обучены сводить к минимуму среднеквадратичную ошибку. По сути они предсказывают среднее из возможных исходов, а значит, сглаживают крайности уже по своему устройству. HRES — один физический расчёт: он может попасть в рекорд, перескочить его или промахнуться. «Сравнение смешивает тип прогноза с его качеством», — пишут авторы.

Детали: поэтому они сравнили вероятностные прогнозы с вероятностными. Такая система — ансамбль прогнозов — выдаёт не одну картину погоды, а десятки вариантов: у ECMWF их 50, у GenCast — 56, у WeatherNext 2 — 64. Прогноз ECMWF проверяли и в исходном виде, и после статистической поправки, которой пользуются метеослужбы. Рекордом считали температуру выше максимума 1979–2017 годов для этой точки, месяца и часа суток.

В цифрах:

• За трое суток до события WeatherNext 2 предсказывала вероятность рекорда на 24% точнее ECMWF по оценке Брайера³, GenCast — на 21%, исправленный прогноз ECMWF — на 14%.
• В зависимости от срока прогноза 39–45% рекордов оказались выше всех 50 вариантов ECMWF, то есть прогноз их не учёл вовсе; у WeatherNext 2 таких 9–17%, у GenCast — 11–21%.
• Рекордов случилось почти в полтора раза больше, чем ожидал прогноз ECMWF по своим вероятностям, а у WeatherNext 2 их число почти совпало с ожидаемым.
• По данным 5 778 метеостанций, прогноз ECMWF целиком пропустил 62–63% рекордов, ИИ-модели — 50–52%.

Но:

• В основной проверке прогнозы сверяли с оперативным анализом ECMWF — картиной погоды, с которой стартует прогноз HRES. Если сверять их с ERA5⁴, перевес ИИ сильно сокращается, а рекорды в полночь по Гринвичу (00 UTC) лучше предсказывает ECMWF.
• Авторы проверили один год и одну величину — температуру у поверхности; смогут ли ИИ-модели так же предсказывать ураганы и ливни, неизвестно.
• Прогноз ECMWF взят в версии 2022 года, с тех пор разрешение его модели выросло, а у Google в сентябре вышла уже WeatherNext 3.

Другая сторона: «Нейросетям трудно надёжно выходить за пределы того, на чём их обучали», — говорил в мае статистик Женевского университета Себастьян Энгельке, соавтор работы в Science Advances. Авторы препринта не исключают такого ограничения, но пишут, что сейчас оно не делает вероятностные прогнозы рекордной жары у ИИ хуже, чем у физического ансамбля ECMWF.

Писать код для анализа и править рукопись авторам помогали Claude Opus 4.8 и Claude Opus 5 в агенте для программирования Claude Code.