Переводчик отвлекается на каждый шорох в зале — и час совещания превращается в два. Так и с данными: если измерения идут неравномерно, стандартные инструменты анализа начинают «слышать» изменения, которых в самом процессе не было. Нерегулярные временные ряды встречаются повсюду: от биржевых котировок до слоёв сталагмита в пещере. Прямое применение привычных методов здесь невозможно, а попытки «выровнять» ряд интерполяцией добавляют свои искажения.
Один из популярных способов сравнивать отрезки такого ряда — мера сходства на основе edit-distance (стоимости преобразования одного отрезка в другой через сдвиги, удаления и добавления точек). Она пришла из обработки текстов и удобна тем, что не требует одинаковой длины. Но авторы работы обнаружили: стоимость преобразования систематически растёт с размером отрезка. Длинный отрезок кажется более непохожим на другие просто потому, что в нём больше точек. Это как если бы переводчик путал слова тем чаще, чем дольше длится выступление, даже если оратор говорит одинаково чётко.
Чтобы отделить реальные изменения от артефактов частоты измерений, учёные предложили метод суррогатных данных с ограничением по частоте выборки (SRC-surrogates). Суть проста: генерируется множество искусственных копий ряда, которые сохраняют размеры отрезков и распределение интервалов, но разрушают динамику. Затем показатель предсказуемости (DET) реального ряда сравнивается с распределением DET суррогатов. Если реальный ряд выбивается из этого распределения, значит, его поведение не объясняется одной лишь неравномерностью измерений.
На синтетическом ряде с резким изменением частоты выборки метод сработал: ложный переход к большей предсказуемости исчез, а линейный рост, заложенный в модель, восстановился. Затем метод применили к реальным данным — сталагмиту с острова Ниуэ, который рос 1000 лет (6.4–5.4 тыс. лет назад). Без коррекции казалось, что предсказуемость сезонных осадков росла, но после вычитания артефакта выявились два периода пониженной предсказуемости. Они совпадают с усилением Эль-Ниньо и тропических циклонов.
Теперь у исследователей есть инструмент для честного сравнения эпизодов с разной плотностью измерений. Это особенно важно для палеоклимата, где шаг по времени задан природными процессами, а не выбором экспериментатора. Метод универсален и может применяться к любым мерам на основе edit-distance, а в перспективе — к кластеризации, классификации и сетям. Переводчика больше не сбивают шорохи: он научился отделять их от голоса оратора.
Сталагмит с острова Ниуэ рос быстрее во влажные периоды, поэтому в его слоях оказывалось больше точек измерений на год — и без коррекции это выглядело как рост предсказуемости климата, хотя на деле было просто артефактом.