Переводчик, который следит за смыслом: как нейросеть читает океан на два года вперёд ✎

Оригинал: "Convolutional GRU Network for Seasonal Prediction of the El Niño-Southern Oscillation"
arXiv:2306.10443 · 2023-06-18 · arXiv non-exclusive · собственный разбор · 2 мин
Свёрточная сеть с памятью учится на тысячелетней климатической летописи и предсказывает карты температуры Тихого океана точнее классических моделей.

Переводчик отвлекается на каждый шорох в зале — и час совещания превращается в два. Так работали старые статистические модели Эль-Ниньо: они выхватывали отдельные цифры из океанских карт, но не видели, как тёплое пятно у берегов Перу связано с холодным языком у Австралии. Новая нейросеть ведёт себя иначе: она следит не за каждым словом, а за смыслом абзаца. Она читает карту температуры целиком, как единый узор, и поэтому предсказывает его развитие на два года вперёд.

Эль-Ниньо — это тёплая фаза тихоокеанского климатического цикла. Каждые несколько лет пассатные ветры слабеют, тёплая вода из западной части Тихого океана растекается на восток, и погода на всей планете сходит с ума: в Перу идут наводнения, в Австралии — засухи, а в Атлантике меняется число ураганов.

Сеть устроена как цепочка переводчиков, которые передают друг другу сжатый смысл. Первый слой смотрит на карту температуры за последние четыре года и выделяет главное: где тёплое пятно, где холодное, как они двигались. Второй слой берёт это сжатое описание и разворачивает его обратно в карту на следующие два года. Ключ в том, что каждый слой видит не отдельную точку, а сразу несколько соседних — как глаз, который охватывает целое слово, а не букву. Поэтому сеть улавливает, что тепло у Перу обычно означает холод у Индонезии, и наоборот.

Индекс Niño 3.4 — это средняя температура поверхности океана в центральной тропической части Тихого океана. Если он выше нормы на полградуса в течение нескольких месяцев, метеорологи объявляют Эль-Ниньо. Прогноз именно этого индекса — главная задача сезонного прогнозирования.

Сеть обучали на симуляции климата, которая началась в 850 году и закончилась в 2150-м. Это как если бы переводчик выучил язык по тысячелетней летописи, а потом переводил современную речь. Результат: полезный прогноз индекса Niño 3.4 держится до 18–19 месяцев вперёд, тогда как старые модели сдавались уже через 7–12 месяцев. На 30 параллельных симуляциях будущего сеть предсказала карты температуры воздуха на двух третях поверхности Земли с ошибкой около одного градуса.

Раньше статистические модели выдавали только одно число — индекс. Теперь же сеть рисует полную карту: тёплый язык у берегов Перу появляется в нужный месяц и в нужном месте. Это как если бы переводчик не просто сказал «речь была о погоде», а пересказал весь разговор с интонациями. Фермер в Перу узнаёт о будущей засухе не за полгода, а за полтора. Пожарная служба в Австралии готовится к сезону заранее. Страховая компания пересчитывает риски.

Переводчик, который следит за смыслом, а не за шорохами, меняет правила игры. Он не просто предсказывает Эль-Ниньо — он объясняет его на языке карт, которые можно прочитать и использовать. И когда тёплое пятно снова поползёт на восток, у нас будет время подготовиться.

Обучение проходило на симуляции, которая началась в 850 году и закончилась в 2150-м. Сеть никогда не видела реальных спутниковых данных, но её прогнозы для XXI века совпадают с наблюдениями лучше, чем у моделей, обученных на коротких рядах.

В романе Кима Стэнли Робинсона «Министерство будущего» Эль-Ниньо становится спусковым крючком глобальной катастрофы. Сеть, предсказывающая его за два года, могла бы дать героям романа время на подготовку.

H_t = (1 - z_t) \odot \tilde{H}_t + z_t \odot H_{t-1}
Новое скрытое состояние — это смесь кандидата и предыдущего состояния, где вентиль z_t решает, сколько прошлого сохранить.
Понятия
индекс Эль-Ниньо ERSST весенний барьер предсказуемости энсо регион Нино 3.4 ла-нинья модель Джина–Тиммермана многомерный индекс ЭНСО южная осцилляция относительный они распространение экваториальных волн модель осциллятора с подзарядкой регрессия нейронной сети буйковые станции TAO/TRITON NOAA CPC северное экваториальное противотечение oisst nrt свёрточные нейронные сети объём тёплой воды NOAA PMEL TAO