Нейросеть, которая учится на 127 тысячах лет модельного климата и предсказывает зиму ✎

Оригинал: "Improving seasonal forecast using probabilistic deep learning"
arXiv:2010.14610 · 2020-10-27 · arXiv non-exclusive · собственный разбор · 3 мин
Переводчик, выучивший язык по тысячам книг, переводит разговор, не отвлекаясь на шум в зале. Так нейросеть предсказывает погоду на полгода вперёд.

Переводчик, выучивший язык по тысячам книг, переводит разговор, не отвлекаясь на шум в зале. Так и нейросеть, обученная на 127 137 годах модельного климата, за доли секунды выдаёт прогноз на зиму — быстрее и точнее, чем громоздкие динамические системы.

Сезонный прогноз на месяцы вперёд — это попытка заглянуть в будущее, опираясь на медленные процессы в океане. Океан хранит тепло и отдаёт его атмосфере постепенно, как каменная печь после топки. Если в июле вода на глубине 5–300 метров была теплее обычного, зима в некоторых регионах может быть мягче. Но чтобы уловить эту связь, нужно учесть тысячи деталей: течения, испарение, облака, рельеф. Динамические модели, которые решают уравнения физики, спотыкаются о три барьера: неточные начальные данные, упрощённые схемы мелких процессов и малое число вариантов расчёта. Нейросеть обходит эти барьеры иначе: она не пытается воспроизвести физику, а ищет закономерности в гигантском архиве уже готовых симуляций.

Если бы один компьютер генерировал данные для обучения непрерывно, ему потребовалось бы 127 тысячелетий. Прогноз на один сезон модель выдаёт за доли секунды.

Архитектура модели напоминает переводчика с двумя блоками. Кодировщик сжимает пару «июльский океан — зимняя погода» в короткий код, как переводчик улавливает суть фразы. Декодировщик разворачивает этот код в карту прогноза, как переводчик произносит ответ на другом языке. В коде остаётся только то, что важно для связи между океаном и атмосферой. Шум, то есть случайные колебания, не мешает: модель учится отделять сигнал от помех, как опытный переводчик не отвлекается на кашель в зале.

Обучение шло в три шага. Сначала модель училась предсказывать зиму по океану без всякого кода, потом осваивала сжатие, и наконец все параметры тонко настраивались вместе. После этого нейросеть запустили на реальных данных океана за 1982–2018 годы и сравнили с четырьмя лучшими динамическими системами. Результат оказался неожиданным: корреляция прогноза с наблюдениями для температуры в восточной тропической части Тихого океана превысила 0.9, а для осадков и температуры почти на всех континентах нейросеть была точнее эталонов.

В годы Эль-Ниньо прогнозы увереннее, в годы Ла-Нинья — разброс больше. Нейросеть сама показывает, где её предсказаниям можно доверять.

Но главное не только в точности. Нейросеть можно использовать как зеркало для динамических моделей. Если прогноз нейросети, обученной только на данных одной модели, оказывается лучше прогноза самой этой модели, значит, дело не в данных, а в формулировке модели. Так авторы показали, что ошибки инициализации и упрощённые схемы вносят разный вклад в разных регионах. Карты чувствительности подтвердили, что нейросеть опирается на физически осмысленные закономерности: тепло в восточной части Тихого океана связано с засухой на Морском континенте, как и предсказывает циркуляция Уокера.

Переводчик, выучивший язык по книгам, не только переводит, но и объясняет, почему в оригинале фраза звучит именно так. Нейросеть, обученная на модельном климате, не только предсказывает погоду, но и показывает, где динамические системы ошибаются и почему. Это значит, что сезонный прогноз для сельского хозяйства, водных ресурсов и энергетики может стать надёжнее, а разработчики климатических моделей получат инструмент для поиска слабых мест.

Для обучения использовано 127 137 лет модельных данных: если бы один компьютер генерировал их непрерывно, ему потребовалось бы более 127 тысячелетий. При этом прогноз на один сезон модель выдаёт за доли секунды.

Идея учиться на «модельном мире», чтобы предсказывать реальный, перекликается с романом Лю Цысиня «Задача трёх тел», где виртуальная симуляция помогает понять хаотическую динамику. Только здесь симуляция используется не для выживания цивилизации, а для прогноза погоды на зиму.

Понятия
вероятностный прогноз прогноз весенний барьер предсказуемости вероятностная модель сезонный цикл NOAA CPC эль-ниньо стохастическое моделирование нейронные сети североатлантическая осцилляция энсо межгодовая изменчивость IRI моделирование физики с помощью нейронных сетей предсказание прогнозирование ошибка предсказания прогноз теория вероятностей ERSST