Нейросеть предсказывает температуру океана на три месяца вперёд ✛ ✎

Оригинал: "CAS-Canglong: A skillful 3D Transformer model for sub-seasonal to seasonal global sea surface temperature prediction"
arXiv:2409.05369 · 2024-09-09 · arXiv non-exclusive · собственный разбор · 3 мин
Глубокое обучение впервые обогнало физические модели в прогнозе температуры поверхности моря на срок от двух недель до сезона.

Контекст

Прогноз на подсезонном и сезонном масштабе (от двух недель до трёх месяцев) остаётся слабым местом метеорологии: атмосфера забывает начальные условия уже через месяц, а океан ещё не успевает накопить достаточно энергии, чтобы диктовать погоду. Физические модели общего пользования требуют огромных вычислительных ресурсов и страдают от систематических ошибок в описании взаимодействия океана и атмосферы. Вокруг этой задачи уже выстроились работы по прогнозу Эль-Ниньо, солнечных вспышек и засух с помощью машинного обучения, но ни одна из них не решала задачу глобального прогноза температуры поверхности океана на подсезонном масштабе. CAS-Canglong встаёт в этот ряд, но отличается объектом: вместо отдельных индексов или регионов модель предсказывает всё поле температуры океана сразу.

Методы

Авторы собрали 63 года ежемесячных данных реанализа ERA5 с разрешением 0,25°×0,25° (1440×721 точек сетки). В качестве предикторов взяли восемь переменных: давление на уровне моря, зональный и меридиональный ветер на высотах 850 и 500 гПа, геопотенциальные высоты, скрытый тепловой поток и чистую солнечную радиацию. Модель построена на архитектуре Swin Transformer с оконным многоголовым вниманием. Входной тензор имеет размерность 16 месяцев × 8 переменных × 721 широта × 1440 долгота. Выход — температура поверхности океана на следующие один, два или три месяца. Обучение шло на четырёх графических процессорах A100 с 80 ГБ памяти каждый. Функция потерь комбинировала среднеквадратичную ошибку и штраф за низкую корреляцию (ниже 0,5) на длинных сроках. Для снижения неопределённости обучали ансамбль из нескольких моделей с разной инициализацией.

Результаты

На независимом тесте 2016–2022 годов CAS-Canglong показал корреляцию 0,91 для прогноза индекса Niño 3.4 на один месяц вперёд и 0,57 на три месяца. По сравнению с 22 физическими моделями из ансамблей ECMWF S2S и NMME ошибка снизилась на 13,7±3,0% в южной части Тихого океана и до 77,1±0,6% в регионе Арктической осцилляции. В среднем по семи ключевым регионам улучшение составило от 28 до 40%. Модель правильно предсказала 85% событий Эль-Ниньо и Ла-Нинья за три месяца. В южных океанах корреляция достигала 0,9 на один месяц и 0,7 на три месяца. Для тёплого бассейна Индо-Тихоокеанского региона модель оценила площадь в 5,93×10⁷ км² против фактических 6,17×10⁷ км², ошибка 3,8%. В режиме реального времени на 2024 год модель раньше других предсказала переход от Эль-Ниньо к Ла-Нинья.

Значение

Работа отличается от соседних исследований тем, что впервые применяет трёхмерный трансформер к глобальному полю температуры океана на подсезонном масштабе. Предыдущие подходы либо использовали LSTM для локальных точек, либо предсказывали отдельные индексы, либо работали на более коротких или более длинных сроках. CAS-Canglong показывает, что внимание к пространственно-временным связям в данных реанализа позволяет обойти ограничения физических моделей без явного описания физики. Это не просто улучшение метрики, а смена парадигмы: вместо дорогих ансамблевых расчётов можно обучать одну нейросеть и получать прогноз за секунды.

Развитие

Модель уже поддерживает прогноз до 12 месяцев, хотя в статье оценивались только первые три. Архитектура допускает перенос обучения на другие переменные: осадки, влажность почвы, ветер. Следующим естественным шагом будет прогноз экстремальных явлений на суше, связанных с аномалиями температуры океана, таких как засухи в Амазонии или волны жары в западной части Северной Америки. Возможно расширение на сезонный прогноз ледового покрова и биогеохимических параметров океана.

Влияние

Улучшение прогноза температуры океана напрямую влияет на предупреждения о засухах, наводнениях и тропических циклонах за месяцы до события. Это важно для сельского хозяйства, управления водными ресурсами и страхования.

Следующие шаги

Проверить модель на независимых данных из других реанализов и на прогнозах в реальном времени в течение нескольких лет. Интегрировать прогнозы температуры океана в модели прогноза осадков на суше.

Ключевые проблемы

В науках о Земле остаётся нерешённой проблема предсказуемости на подсезонном масштабе: как долго сохраняется память о начальных условиях в системе океан–атмосфера. Работа показывает, что глубокое обучение может извлекать эту память из данных лучше, чем физические модели, но вопрос о физической интерпретируемости таких прогнозов остаётся открытым.

Взгляд машины знаний

Этот раздел адресован автору работы и его коллегам. Соседние работы нашёл смысловой поиск по нашему архиву — не по совпадению слов, а по смыслу. Мы не рецензируем: мы показываем поле вокруг.

Что сделано в работе

Авторы собрали 63 года реанализа ERA5, обучили трёхмерный трансформер Swin на восьми атмосферных переменных и показали, что модель предсказывает глобальную температуру поверхности океана на 1–3 месяца вперёд точнее физических ансамблей в семи ключевых регионах, включая индекс Niño 3.4 и площадь тёплого бассейна.

В чём сила

Впервые применён трёхмерный трансформер к глобальному полю температуры океана на подсезонном масштабе, что позволяет улавливать пространственно-временные связи без явного описания физики и даёт выигрыш в точности по сравнению с дорогими физическими моделями.

Куда можно двигаться

Что можно попробовать

  • Попробовать обучить модель на данных более высокого разрешения или добавить океанические переменные, чтобы проверить, растёт ли точность в тропиках.
  • Апробировать перенос обучения: дообучить CAS-Canglong на данных другого реанализа или климатической модели, чтобы оценить устойчивость.
  • Использовать ансамбль с разными архитектурами (например, добавить сверточные слои) для снижения неопределённости в долгосрочных прогнозах.

Почему это может быть важно

Улучшение прогнозов температуры поверхности океана на подсезонном масштабе напрямую влияет на ранние предупреждения о засухах, наводнениях и волнах жары, что особенно важно для уязвимых регионов.

Название модели Canglong отсылает к мифическому дракону из древнекитайской мифологии, который управляет дождями. Модель обучалась на данных с 1959 года — за это время температура океана в тропиках выросла примерно на 0,5 °C.

В романе Кима Стэнли Робинсона «Министерство будущего» жара в Индии становится триггером глобальных изменений. Точный прогноз температуры океана за месяцы вперёд мог бы дать время на подготовку к таким событиям.

L_{fmse} = \frac{1}{T_{out}} \sum_{t=1}^{T_{out}} (X_{t,l} - \hat{X}_{t,l})^2
Штраф за отклонение предсказанной температуры от фактической, усреднённый по всем месяцам прогноза
L_{corr} = \frac{1}{T_{out}} \sum_{l=2}^{T_{out}} \max\{0, 0.5 - \frac{\sum_{t=1}^{T} (x_{t,l} - \bar{X}_l)(\hat{x}_{t,l} - \bar{\hat{X}}_l)}{\sqrt{\sum_{t=1}^{T} (x_{t,l} - \bar{X}_l)^2} \sqrt{\sum_{t=1}^{T} (\hat{x}_{t,l} - \bar{\hat{X}}_l)^2}}\}
Дополнительный штраф, если корреляция между прогнозом и наблюдениями падает ниже 0,5 на сроках от двух месяцев
RMSE = \sqrt{\frac{\sum_{i=1}^{N_{lon}} \sum_{j=1}^{N_{lat}} W(i) (\hat{X}_{i,j,l} - X_{i,j,l})^2}{N_{lon} \times N_{lat}}}
Ошибка прогноза, взвешенная по косинусу широты, чтобы учесть разный размер ячеек сетки

Ключевые числа

  • улучшение точности: от 13,7% до 77,1%
  • корреляция Niño 3.4 на 1 месяц: 0,91
  • корреляция Niño 3.4 на 3 месяца: 0,57
  • точность предсказания Эль-Ниньо за 3 месяца: 85%
  • разрешение сетки: 0,25°×0,25°
Понятия
аномалия температуры поверхности моря температура поверхности моря NOAA CPC энсо весенний барьер предсказуемости прогноз эль-ниньо ла-нинья NOAA PMEL TAO ERSST Ниньо 4 модель Джина–Тиммермана OISST v2.1 навык прогноза модель Зебиака–Кейна IRI диполь индийского океана североатлантическая осцилляция южная осцилляция связь океана и атмосферы