Точка разлома в потоке функций ✎

Оригинал: "Change-point Detection for Sparse and Dense Functional Data in General Dimensions"
arXiv:2205.09252 · 2022-05-19 · arXiv non-exclusive · собственный разбор · 3 мин
Новый алгоритм находит моменты, когда поведение функциональных данных резко меняется, даже если каждая кривая измерена всего в одной точке.

Контекст

Вокруг этой работы уже есть несколько направлений: методы для полных кривых без ошибок измерения, для одномерных областей, для одиночных точек изменения. Наш подход стоит на отшибе: он впервые охватывает многомерные области, разреженные наблюдения и множественные точки изменения одновременно. Соседи по архиву используют нейросети и гравитационные линзы для космологии или улучшают медицинские снимки, но здесь задача другая: найти момент, когда сама форма функции изменилась, а не восстановить её или классифицировать объект.

Методы

Алгоритм FSBS работает в два этапа. Сначала для каждого момента времени оценивают среднюю функцию по дискретным наблюдениям с помощью ядерного сглаживания. Затем вычисляют кумулятивную сумму (CUSUM), которая сравнивает средние функции слева и справа от каждого возможного момента изменения. Чтобы найти все точки изменения, используют посеянную бинарную сегментацию: набор интервалов разной длины покрывает временную ось, и на каждом интервале ищут точку с максимальным значением CUSUM. Если это значение превышает порог, интервал делят пополам и повторяют процедуру. Ключевая деталь: для ускорения вычислений проверяют только случайно выбранные точки области, а не всю сетку.

Результаты

Теорема 1 гарантирует, что с вероятностью, стремящейся к единице, алгоритм находит правильное число точек изменения, а ошибка локализации каждой точки ограничена величиной порядка логарифмического множителя, умноженного на $κ^{-2}$, где κ — минимальный размер скачка. В численных экспериментах FSBS превосходит три существующих метода (BGHK, HK, SN) по расстоянию Хаусдорфа и точности числа точек изменения во всех пяти сценариях, включая крайне разреженный случай n=1 и двумерную область. На реальных данных о температуре поверхности моря в южной части Тихого океана алгоритм обнаружил две точки изменения: 1981 и 1996 годы, которые согласуются с экстремальными событиями Эль-Ниньо и Индийского океанского диполя.

Значение

Эта работа отличается от соседей тем, что впервые даёт теоретически обоснованный метод для функциональных данных на многомерной области с дискретными наблюдениями и зависимым шумом. Соседние работы либо требуют полных кривых без ошибок, либо ограничены одномерной областью, либо не дают гарантий для множественных точек изменения. Здесь же показана состоятельность и получена точная скорость локализации, которая выявляет фазовый переход: при n≥$T^{1/4}$ ошибка не зависит от n, а при меньших n растёт как $T^{1/5}$$n^{-4/5}$. Это новое слово в теории обнаружения изменений для функциональных данных.

Развитие

Метод можно расширить на случай, когда минимальное расстояние между точками изменения много меньше T, изменив набор посеянных интервалов и используя выбор наименьшего интервала над порогом. Также можно ослабить предположение об одинаковом числе точек сетки для каждой кривой, допустив разные $n_t$, и тогда результаты будут зависеть от минимального и максимального числа точек. Ещё одно направление — адаптивный выбор ширины окна h без перекрёстной проверки, чтобы ускорить вычисления на больших данных.

Влияние

Алгоритм применим в нейробиологии для анализа сигналов ЭЭГ или фМРТ, в климатологии для поиска изменений в пространственных полях температуры или осадков, в финансах для обнаружения смены режима в кривых доходности. Он также может быть полезен в биологии для анализа временных рядов экспрессии генов, измеренных на разных участках ткани.

Следующие шаги

Следующий шаг — проверить FSBS на более сложных реальных данных с сильной зависимостью и тяжёлыми хвостами, например, на финансовых временных рядах. Также стоит реализовать автоматический выбор всех трёх параметров настройки без участия человека.

Ключевые проблемы

В области обнаружения изменений для функциональных данных остаётся открытым вопрос об оптимальной скорости локализации при произвольном соотношении n и T. Наша работа даёт верхнюю границу, но нижняя граница (минимаксная) для многомерного случая не доказана. Также нерешённой является задача с изменяющейся гладкостью функций или с точками изменения, которые влияют только на часть области определения.

Алгоритм способен найти точку изменения, даже если каждая кривая измерена всего в одной точке (n=1). Это эквивалентно поиску изменения в среднем по времени для скалярных наблюдений, но с гарантиями, которые учитывают функциональную природу данных.

В романе Айзека Азимова «Академия» психоисторики предсказывают кризисы в развитии галактической империи, анализируя огромные массивы социальных данных. FSBS делает нечто похожее, но для непрерывных функций: находит моменты, когда поведение системы резко меняется, что может предвещать кризис.

Ключевые числа

  • n=1: крайне разреженный случай, когда каждая кривая измерена в одной точке
  • T=200: число функциональных кривых в симуляциях
  • 1981 и 1996: годы изменения температуры поверхности моря, найденные алгоритмом
  • d=2: размерность области в реальном приложении (широта и долгота)
  • κ^{-2}: порядок ошибки локализации точки изменения
Понятия
функциональный анализ обработка данных уменьшение размерности набор данных очистка данных статистическая сумма седловая точка анализ данных