Неровный пульс времени: как случайный ритм измерений искажает выводы и что с этим делать

Оригинал: "Sampling rate-corrected analysis of irregularly sampled time series"
arXiv:2112.04843 · 2021-12-09 · CC BY 4.0 · 2 мин
Метод корректирует ошибки анализа временных рядов с неравномерным шагом, отделяя реальные изменения от артефактов частоты измерений.

Переводчик отвлекается на каждый шорох в зале — и час совещания превращается в два. Так и с данными: если измерения идут неравномерно, стандартные инструменты анализа начинают «слышать» изменения, которых в самом процессе не было. Нерегулярные временные ряды встречаются повсюду: от биржевых котировок до слоёв сталагмита в пещере. Прямое применение привычных методов здесь невозможно, а попытки «выровнять» ряд интерполяцией добавляют свои искажения.

Один из популярных способов сравнивать отрезки такого ряда — мера сходства на основе edit-distance (стоимости преобразования одного отрезка в другой через сдвиги, удаления и добавления точек). Она пришла из обработки текстов и удобна тем, что не требует одинаковой длины. Но авторы работы обнаружили: стоимость преобразования систематически растёт с размером отрезка. Длинный отрезок кажется более непохожим на другие просто потому, что в нём больше точек. Это как если бы переводчик путал слова тем чаще, чем дольше длится выступление, даже если оратор говорит одинаково чётко.

Эффект неодинаков для разных типов динамики. Для случайного шума и синусоиды зависимость от размера сильнее, чем для процесса с памятью (AR(1)).

Чтобы отделить реальные изменения от артефактов частоты измерений, учёные предложили метод суррогатных данных с ограничением по частоте выборки (SRC-surrogates). Суть проста: генерируется множество искусственных копий ряда, которые сохраняют размеры отрезков и распределение интервалов, но разрушают динамику. Затем показатель предсказуемости (DET) реального ряда сравнивается с распределением DET суррогатов. Если реальный ряд выбивается из этого распределения, значит, его поведение не объясняется одной лишь неравномерностью измерений.

На синтетическом ряде с резким изменением частоты выборки метод сработал: ложный переход к большей предсказуемости исчез, а линейный рост, заложенный в модель, восстановился. Затем метод применили к реальным данным — сталагмиту с острова Ниуэ, который рос 1000 лет (6.4–5.4 тыс. лет назад). Без коррекции казалось, что предсказуемость сезонных осадков росла, но после вычитания артефакта выявились два периода пониженной предсказуемости. Они совпадают с усилением Эль-Ниньо и тропических циклонов.

Сталагмит рос быстрее во влажные периоды, поэтому в его слоях оказывалось больше точек измерений на год. Без коррекции это выглядело как рост предсказуемости климата, хотя на деле было просто артефактом.

Теперь у исследователей есть инструмент для честного сравнения эпизодов с разной плотностью измерений. Это особенно важно для палеоклимата, где шаг по времени задан природными процессами, а не выбором экспериментатора. Метод универсален и может применяться к любым мерам на основе edit-distance, а в перспективе — к кластеризации, классификации и сетям. Переводчика больше не сбивают шорохи: он научился отделять их от голоса оратора.

Сталагмит с острова Ниуэ рос быстрее во влажные периоды, поэтому в его слоях оказывалось больше точек измерений на год — и без коррекции это выглядело как рост предсказуемости климата, хотя на деле было просто артефактом.

Понятия
выборка по важности среднеквадратичная ошибка бутстрэп усреднение сигнала складной нож (джекнайф) стандартная ошибка аномалия осадков периодограмма Ломба-Скаргла регуляризация линейная регрессия стохастическое моделирование объём выборки статистический метод смена режима методы Монте-Карло статистическая неопределённость обзор сезонный цикл ретроспективный прогноз перекрёстная проверка