Кукловоды предсказаний: как найти немногих, кто управляет будущим ✎

Оригинал: "Optimal model-free prediction from multivariate time series"

· Jakob Runge, Reik V. Donner, Jürgen Kurths

arXiv:1506.05822 · 2015-06-18 · arXiv non-exclusive · собственный разбор · 1 мин

Статистическое машинное обучение Методология

Чтобы предсказать будущее, нужно найти несколько главных причин, а не следить за всеми показателями сразу.

Кукловод дёргает за нити, и марионетка пляшет. В предсказании будущего по временным рядам роль кукловодов играют немногие переменные, которые действительно управляют системой. Остальные показатели лишь повторяют их движения. Задача в том, чтобы найти этих кукловодов и следить только за их пальцами, а не за всей сценой.

Но как отличить настоящую причину от случайного совпадения? Обычные методы часто хватаются за всё подряд и включают лишние показатели, которые не помогают прогнозу. Или пропускают случаи, когда только две переменные вместе дают нужную информацию. Учёные предложили сначала найти непосредственные причины целевой переменной с помощью специального алгоритма, а затем перебрать все их комбинации. Такой перебор возможен, потому что причин немного.

Непосредственные причины — это то, что напрямую влияет на результат. Например, для температуры в комнате это батарея и открытое окно, но не погода на улице, которая действует через окно.

На искусственных данных метод даёт почти нулевую ошибку. Для прогноза Эль-Ниньо он улучшает точность по сравнению со старым способом. Раньше было непонятно, как найти лучший набор для предсказания без огромного перебора. Теперь ясно: сначала найди кукловодов, а потом уже смотри, как они двигают марионетку.

Весь граф →

Алгоритм PC, лежащий в основе причинного отбора, был предложен в 1991 году и назван по первым буквам имён его создателей: Питера Спиртеса и Кларка Глимора. С тех пор он стал краеугольным камнем каузального вывода, а здесь впервые применён для ускорения оптимального предсказания.

Идея отбора причинных драйверов перекликается с «психоисторией» из цикла Айзека Азимова «Основание», где математики предсказывают будущее общества, выявляя ключевые движущие силы. Вместо галактической империи здесь климатический индекс, но принцип тот же: найти немногие переменные, которые действительно управляют системой.

H(Y_{t+1}) = I(Y_{t+1}; X^-_{t+1}) + H(Y_{t+1} | X^-_{t+1})

Полная неопределённость будущего значения Y_{t+1} складывается из информации, которую можно извлечь из всего прошлого X^-_{t+1}, и остаточной энтропии, которую нельзя предсказать.

I(Y_{t+1}; X^-_{t+1}) = I(Y_{t+1}; P_{Y_{t+1}}) + I(Y_{t+1}; X^-_{t+1} \setminus P_{Y_{t+1}} | P_{Y_{t+1}})

Взаимная информация между будущим значением и всем прошлым равна взаимной информации с причинными родителями P_{Y_{t+1}}, поскольку второй член равен нулю по марковскому свойству.

SRMSE = \sqrt{\frac{1}{|T_{test}|} \sum_{t \in T_{test}} \frac{(Y_{t+h} - \hat{Y}_{t+h})^2}{\sigma^2_Y}}

Ошибка прогноза нормируется на дисперсию целевой переменной, что позволяет сравнивать качество прогнозов для разных рядов.

Понятия

выбор модели вероятностный прогноз ансамблевый прогноз предсказание задача оптимизации вероятностная модель максимальное правдоподобие случайный лес весенний барьер предсказуемости нейронные сети прогностического обучения переобучение точность предсказаний обучающие данные стохастическое моделирование профильное правдоподобие многомерный индекс ЭНСО оптимизация оптимальная транспортировка причинность по Грейнджеру информационный критерий

Я автор

Кукловоды предсказаний: как найти немногих, кто управляет будущим ✎