Байесовские деревья против капризов Эль-Ниньо

Оригинал: "Time Series Analysis of the Southern Oscillation Index using Bayesian Additive Regression Trees"
· Sean van der Merwe
arXiv:1804.01809 · 2018-04-05 · CC BY 4.0 · 3 мин
Метод BART впервые применён к прогнозу Южной осцилляции и обошёл классическую линейную модель.

Контекст

Прогноз Южной осцилляции — задача с вековой историей: от неё зависят урожаи, наводнения и засухи от Австралии до Южной Африки. Классические авторегрессионные модели (ARMA) хорошо изучены, но они линейны и не улавливают сложные циклы в данных. Нейросети умеют нелинейность, но строить для них надёжные интервалы прогноза трудно и дорого. Рядом с этой работой в архиве лежат исследования, где ИИ учится на погодных данных и гравитационных волнах, но никто не пробовал BART для временных рядов. Данная статья заполняет эту нишу.

Методы

Автор взял ежемесячные значения SOI с января 1876 по август 2009 года — 1603 наблюдения. BART суммирует множество маленьких деревьев решений, каждое из которых объясняет лишь малую часть изменчивости. Деревья строятся случайно с помощью MCMC (метода Монте-Карло по схеме марковской цепи), а сильное априорное распределение не даёт им разрастаться. Для отбора переменных использовали встроенный в BART приём: число деревьев уменьшали до 20, чтобы модель вынужденно выбирала только полезные лаги. Точность оценивали на случайной тестовой выборке (20–33% данных), усредняя результаты по десяти запускам.

Результаты

При прогнозе октябрьского значения SOI по предыдущим месяцам лучшая модель использовала только пять лагов (с мая по сентябрь). На обучающей выборке корреляция достигла 0.90, на тестовой — 0.81, средняя абсолютная ошибка 4.89, RMSE 5.90. Если исключить сентябрь, чтобы прогнозировать на два месяца вперёд, корреляция падает до 0.66. В авторегрессионной постановке (прогноз на 1–12 месяцев вперёд) BART с пятью лагами дал корреляцию 0.647 для одного месяца и 0.218 для двенадцати. Линейная модель AR(5) на тех же данных показала худшие результаты: 0.620 для одного месяца и 0.112 для двенадцати. При этом прогнозы BART после пяти месяцев вырождаются в почти постоянное значение с малой дисперсией.

Значение

Работа впервые демонстрирует, что BART применим к временным рядам и превосходит ARMA по точности точечных прогнозов, хотя и не решает проблему долгосрочного затухания. В отличие от соседних работ, где нейросети обучаются на огромных наборах, здесь используется байесовский непараметрический метод с полным распределением неопределённости. Это открывает дорогу к нелинейному моделированию климатических индексов без сложной настройки нейросетей.

Развитие

Метод можно расширить на другие климатические ряды: температуру океана, индексы осадков, речные стоки. Ключевая задача — научиться строить прогнозные интервалы на несколько шагов вперёд без распределённых вычислений. Возможно, помогут варианты BART для последовательных данных или гибриды с моделями пространства состояний.

Влияние

Результаты полезны для гидрологов, агрометеорологов и специалистов по климатическим рискам, которым нужны нелинейные прогнозы с оценкой неопределённости. Также метод может заинтересовать статистиков, работающих с нестационарными рядами.

Следующие шаги

Стоит проверить BART на других индексах (например, PDO или NAO) и сравнить с современными нелинейными методами. Отдельная задача — ускорить вычисление прогнозных интервалов.

Ключевые проблемы

Для статистики временных рядов остаётся открытым вопрос: как строить надёжные прогнозные интервалы для нелинейных моделей без огромных вычислительных затрат. Работа показывает, что байесовские деревья дают честную неопределённость на один шаг, но для дальних горизонтов нужны новые идеи.

Южная осцилляция измеряется по разнице давления между таитянским портом Папеэте и австралийским Дарвином — расстояние между ними около 7400 километров. Когда давление в Таити выше, чем в Дарвине, наступает Ла-Нинья с прохладной водой у берегов Южной Америки.

Ключевые числа

  • корреляция прогноза на 1 месяц (BART): 0.647
  • корреляция прогноза на 1 месяц (AR5): 0.620
  • корреляция прогноза на 12 месяцев (BART): 0.218
  • корреляция прогноза на 12 месяцев (AR5): 0.112
  • число наблюдений: 1603
Понятия
байесовский вывод авторегрессионная модель бустированное дерево решений линейная регрессия бутстрэп случайный лес байесовская иерархическая модель xgboost эмпирическая ортогональная функция