Как найти момент, когда океан меняет характер ✎

Оригинал: "Change-point Detection for Sparse and Dense Functional Data in General Dimensions"
arXiv:2205.09252 · 2022-05-19 · arXiv non-exclusive · собственный разбор · 1 мин
Алгоритм замечает резкие перемены в поведении кривых, даже если измерений очень мало.

Океан тёплый и спокойный, но в какой-то момент его течение резко меняется. Температурные карты, записанные за много лет, в этот момент тоже изменят свой характер. Новый алгоритм FSBS умеет находить такие моменты, даже если данных очень мало или они с шумом.

Алгоритм работает так. Сначала для каждого момента времени он восстанавливает среднюю температуру по всем точкам измерения. Потом сравнивает средние значения до и после каждого возможного момента. Если разница большая, значит, здесь произошёл скачок. Чтобы найти все скачки, алгоритм проверяет разные отрезки времени и делит их пополам, когда находит подозрительное место.

Даже если каждая кривая измерена всего в одной точке, алгоритм всё равно находит момент изменения. Это как заметить, что в какой-то год средняя температура океана вдруг стала выше.

На реальных данных о температуре поверхности моря в южной части Тихого океана алгоритм нашёл два изменения: в 1981 и 1996 годах. Эти годы совпадают с сильными климатическими событиями Эль-Ниньо и Индийского океанского диполя. Океан действительно менял свой характер, и алгоритм это увидел.

Алгоритм способен найти точку изменения, даже если каждая кривая измерена всего в одной точке (n=1). Это эквивалентно поиску изменения в среднем по времени для скалярных наблюдений, но с гарантиями, которые учитывают функциональную природу данных.

В романе Айзека Азимова «Академия» психоисторики предсказывают кризисы в развитии галактической империи, анализируя огромные массивы социальных данных. FSBS делает нечто похожее, но для непрерывных функций: находит моменты, когда поведение системы резко меняется, что может предвещать кризис.

Понятия
функциональный анализ обработка данных уменьшение размерности набор данных очистка данных статистическая сумма седловая точка анализ данных