Найти кукловодов: как причинность спасает предсказания от взрыва вычислений ✎

Оригинал: "Optimal model-free prediction from multivariate time series"
arXiv:1506.05822 · 2015-06-18 · arXiv non-exclusive · собственный разбор · 2 мин
Отбор причинных переменных позволяет за полиномиальное время находить оптимальные наборы предикторов для многомерных временных рядов.

Кукловод дёргает за нити, и марионетка пляшет. В предсказании будущего по временным рядам роль кукловодов играют немногие переменные, которые действительно управляют системой. Остальные показатели лишь повторяют их движения, создавая видимость сложности. Задача в том, чтобы найти этих кукловодов и следить только за их пальцами, а не за всей сценой.

Но как отличить настоящую причину от случайного совпадения? Классические методы отбора переменных часто хватаются за всё подряд: они включают избыточные показатели, которые коррелируют с целью, но не несут новой информации. Или, наоборот, упускают синергетические комбинации, когда только совместное действие двух переменных даёт прогностическую силу. Авторы статьи предлагают сначала выявить причинных родителей целевой переменной с помощью модифицированного алгоритма PC, а затем перебрать все их подмножества. Поскольку причинных родителей обычно немного, перебор становится выполнимым.

Причинные родители — это непосредственные причины переменной в графе. Например, для температуры воздуха в комнате причинными родителями могут быть температура батареи и открытое окно, но не влажность на улице, которая влияет косвенно.

Ключевая идея опирается на теорию информации. Вся предсказательная информация о будущем значении целевой переменной содержится в её причинных родителях. Это следует из марковского свойства: будущее зависит от прошлого только через настоящее состояние. Поэтому, найдя причинных родителей, можно не рассматривать остальные переменные. Для оценки взаимной информации используется метод ближайших соседей с максимальной нормой, который устойчив к высокой размерности.

На синтетических нелинейных процессах метод достигает медианной относительной ошибки, равной нулю, и в 90% реализаций ошибка ниже 0.1. Это существенно лучше, чем у схем на основе взаимной информации или прямого отбора. Для индекса Эль-Ниньо линейная модель на оптимальных предикторах снижает ошибку прогноза на 0.05–0.1 по сравнению с методом ближайших соседей на горизонтах до 5 месяцев.

Эль-Ниньо — это тёплое течение в Тихом океане, которое меняет погоду по всему миру. Его индекс Nino3.4 измеряет температуру воды в определённом районе океана.

Раньше было неясно, как найти глобально оптимальный набор предикторов, не перебирая экспоненциально много комбинаций. Теперь понятно, что поиск можно ограничить причинными драйверами, которые выявляются за полиномиальное время. Этот подход применим в климатологии, экономике и других областях, где данные представлены многомерными временными рядами. Кукловоды найдены, и марионетка предсказуема.

Алгоритм PC, лежащий в основе причинного отбора, был предложен в 1991 году и назван по первым буквам имён его создателей: Питера Спиртеса и Кларка Глимора. С тех пор он стал краеугольным камнем каузального вывода, а здесь впервые применён для ускорения оптимального предсказания.

Идея отбора причинных драйверов перекликается с «психоисторией» из цикла Айзека Азимова «Основание», где математики предсказывают будущее общества, выявляя ключевые движущие силы. Вместо галактической империи здесь климатический индекс, но принцип тот же: найти немногие переменные, которые действительно управляют системой.

H(Y_{t+1}) = I(Y_{t+1}; X^-_{t+1}) + H(Y_{t+1} | X^-_{t+1})
Полная неопределённость будущего значения Y_{t+1} складывается из информации, которую можно извлечь из всего прошлого X^-_{t+1}, и остаточной энтропии, которую нельзя предсказать.
I(Y_{t+1}; X^-_{t+1}) = I(Y_{t+1}; P_{Y_{t+1}}) + I(Y_{t+1}; X^-_{t+1} \setminus P_{Y_{t+1}} | P_{Y_{t+1}})
Взаимная информация между будущим значением и всем прошлым равна взаимной информации с причинными родителями P_{Y_{t+1}}, поскольку второй член равен нулю по марковскому свойству.
SRMSE = \sqrt{\frac{1}{|T_{test}|} \sum_{t \in T_{test}} \frac{(Y_{t+h} - \hat{Y}_{t+h})^2}{\sigma^2_Y}}
Ошибка прогноза нормируется на дисперсию целевой переменной, что позволяет сравнивать качество прогнозов для разных рядов.
Понятия
выбор модели вероятностный прогноз ансамблевый прогноз предсказание задача оптимизации вероятностная модель максимальное правдоподобие случайный лес весенний барьер предсказуемости нейронные сети прогностического обучения переобучение точность предсказаний обучающие данные стохастическое моделирование профильное правдоподобие многомерный индекс ЭНСО оптимизация оптимальная транспортировка причинность по Грейнджеру информационный критерий