Методология stat.ME

На старой плёнке с записью дождя видны лишь самые яркие кадры, а между ними шум. Метеоролог, оценивающий риск наводнений, долго смотрел только на такие кадры, то есть на годовые максимумы осадков. Всё остальное, тысячи ежедневных наблюдений, оставалось за кадром. Новый метод проявляет плёнку целиком, и на ней проступают детали, которых раньше не было видно.

Кукловод дёргает за нити, и марионетка пляшет. В предсказании будущего по временным рядам роль кукловодов играют немногие переменные, которые действительно управляют системой. Остальные показатели лишь повторяют их движения, создавая видимость сложности. Задача в том, чтобы найти этих кукловодов и следить только за их пальцами, а не за всей сценой.

Ледяной покров реки кажется цельным, но под ним есть трещины, которые меняют течение. Так и временной ряд: за ровной поверхностью чисел скрываются моменты, когда правила игры меняются. Эти моменты называют точками смены, и их поиск похож на простукивание льда в поисках слабых мест.

В горах Колорадо снег ложится по-разному в разные зимы, и причина не всегда в местной погоде. За тысячи километров, в тропиках Тихого океана, вода то прогревается, то остывает, и эта пульсация тянет за собой невидимую руку, которая меняет осадки в Скалистых горах.

Оркестр играет сложную пьесу, и каждая группа инструментов вступает по своему расписанию. Скрипки могут замедлиться, пока духовые держат прежний темп, а ударные вдруг взорвутся дробью. Дирижёр слышит всё сразу, но определить, в какой именно момент изменился ритм у флейт, а не у виолончелей, почти невозможно.

Переводчик, который отвлекается на каждый шорох в зале, к концу совещания начинает путаться в словах. Его уверенность в собственной правоте растёт, а точность падает. Примерно так ведут себя плохо откалиброванные вероятностные прогнозы: модель заявляет высокую вероятность события, но реальность с ней не согласна.

В тропическом лесу сухой сезон сменяется сезоном дождей, и вместе с погодой меняются правила жизни: одни животные уходят в спячку, другие, наоборот, выходят из укрытий. Так и в сложных системах — от климата до экономики — связи между процессами не являются чем-то застывшим. Они зависят от скрытого «режима», который сам переключается время от времени.

Оркестр без дирижёра играет слаженно, и вы хотите понять, кто на кого влияет. Скрипач слышит виолончель, виолончелист ловит ритм ударных, а флейта подстраивается под всех сразу. В науке о сложных системах, таких как климат или мозг, долго не было инструмента, чтобы разложить эту взаимную игру на отдельные вклады.

Представьте переводчика, который отвлекается на каждый шорох в зале. Чем больше шорохов, тем больше ошибок в переводе, хотя смысл речи не менялся. Так и с данными: если измерения идут неравномерно, стандартные инструменты анализа начинают «слышать» изменения, которых в самом процессе не было.

Грозовой фронт похож на резиновую ленту, натянутую между двумя пальцами. Чем сильнее тянут, тем шире полоса, по которой бьют молнии. Метеорологи давно умеют измерять силу грозы в отдельной точке, но до сих пор не понимали, почему иногда суровая погода сжимается в компактное пятно, а иногда захватывает половину континента.

Сейсмограф записывает подземные толчки: плавная линия вдруг вздрагивает и меняет характер. Так и функциональные данные, например карты температуры океана или сигналы мозга, могут в какой-то момент изменить свою форму. Новый алгоритм FSBS улавливает такие разломы, даже если каждая кривая измерена всего в одной точке, а шум заглушает сигнал.

Черновой набросок портрета: несколько уверенных линий задают форму, но детали ещё не проработаны. Так параметрическая модель, например векторная авторегрессия (VAR), описывает временной ряд: она улавливает основную структуру, но если реальные данные отклоняются от её предположений, портрет получается искажённым.

Океан не всегда следует одному и тому же расписанию. Иногда тёплое течение Эль-Ниньо усиливается, иногда ослабевает, и каждый режим диктует свою скорость реакции на прошлое. Эти скрытые режимы похожи на смену течений, которые помнят пройденный путь с разной глубиной.

Оркестр без дирижёра играет сложную пьесу. Слушатель слышит общую музыку, но хочет понять, кто ведёт мелодию, а кто лишь подхватывает её в унисон.

Климатологи годами спорят, где именно находится «бассейн» Эль-Ниньо — та область в экваториальной части Тихого океана, которая первой отзывается на будущий сдвиг погоды. Спор не от нехватки данных: океан измеряют по долготе, широте и глубине, и каждый срез содержит тысячи чисел. Проблема в том, что этих чисел слишком много, чтобы напрямую увидеть в них закономерность.

Оркестр из тысячи музыкантов играет слаженно, пока дирижёр держит темп. Но стоит ему сменить партитуру, как скрипки в одном углу начинают звучать громче, а духовые в другом — вступать с опозданием.

Генетическая диагностика похожа на сравнение двух фотографий, сделанных разными камерами. Если одна камера чуть сдвинула цвета, на снимке появятся «дефекты», которых нет в реальности. Так и в анализе ДНК: образец пациента сравнивают с эталонным, и если эталон обработан реактивами из другой партии или в другой лаборатории, сравнение даёт ложные сигналы — то лишние мутации, то пропущенные настоящие.

Старые метеосводки хранят сюрпризы: столбик термометра вдруг подпрыгивает на полградуса не из-за погоды, а потому что на станции сменили прибор. Такие резкие сдвиги в данных называют точками изменения, и отделить их от настоящих климатических сигналов — задача, над которой бьются статистики.

Главная артерия тела — аорта — не просто трубка. При каждом ударе сердца она растягивается и сжимается, как резиновый шланг под напором воды. Увидеть это движение в объёме сложно: обычная МРТ даёт лишь плоские срезы, а полная 3D-съёмка во времени требует дорогого оборудования и долгого лежания в сканере. Группа исследователей нашла выход.

На кремниевой пластине размером с обеденную тарелку можно разместить не одно вещество, а целую карту из тысяч разных составов. Лазер выбивает атомы из мишеней и осаждает их тонкими слоями, меняя пропорции от точки к точке. Так получается библиотека материалов: где-то больше одного металла, где-то другого, и все сочетания видны сразу. Но при комнатной температуре многие свойства не видны.

Человек смотрит на экран, где мигают буквы. Он не шевелит ни рукой, ни глазом — только мысленно отмечает нужный символ. Датчики на голове ловят слабые электрические волны мозга, и компьютер понимает, какую букву выбрал человек. Так работает интерфейс «мозг — компьютер»: он даёт голос тем, кто не может говорить или двигаться.

Раковые клетки похожи на сломанные машины: одна поломка заставляет их ехать без остановки. В гене KRAS такие поломки случаются чаще всего. Но поломки бывают разные: в одном месте белка может стоять не та аминокислота, и от этого зависит, как поведёт себя опухоль. В новом исследовании сравнили две такие поломки: G12C и G12D.

Электрокардиограмма — это как запись шума мотора: по ней опытный механик слышит, когда что-то не так. УЗИ сердца показывает сам мотор изнутри, но аппарат дорог, а специалистов мало. Новая модель соединяет оба подхода: она учится на миллионах обычных кардиограмм и подсказывает, у кого сердце уже изменилось, хотя человек этого не чувствует.

Два специалиста смотрят на один и тот же снимок молочной железы. Один — опытный врач, второй — программа с искусственным интеллектом. Иногда их мнения совпадают, иногда расходятся. От того, насколько часто они соглашаются друг с другом, зависит, насколько точно они вместе отличат здоровую ткань от опухоли.

Камера делает снимок, но матрица шумит, оптика размывает, а часть пикселей засвечена. Восстановить исходную картинку — всё равно что угадать мелодию по испорченной пластинке: вариантов много, и какой из них правдив, неясно. В науке такие задачи называют обратными, и они повсюду — от медицинских томографов до радиотелескопов.

Канарейка в шахте замолкает — и шахтёры понимают: газ уже здесь, пора уходить. Примерно так же ведёт себя опухолевая ДНК, плавающая в крови. Лекарство давит на рак, и уровень этой ДНК падает почти до нуля. Анализ перестаёт её видеть. Врач видит «чисто» и успокаивается. Но тишина бывает обманчивой.

Лоскутное одеяло, где каждый лоскут — запись активности небольшого участка мозга. Один лоскут сшили в понедельник в Лондоне, другой — во вторник в Нью-Йорке, а третий вообще месяц назад в Токио. Вся эта мозаика покрывает мозг лишь частично, и нет общего шва, чтобы их соединить.

Лабораторный робот отсчитывает молекулы — и сбивается. В одной пробирке 0, в другой 12, в третьей 3, хотя на самом деле везде примерно поровну. Такие «сырые» цифры — обычное дело в биологии: секвенирование ДНК, подсчёт видов в пробе воды, активность генов. Данных много, но они разрежены и разбросаны сильнее, чем допускает простая случайность.

Статистические модели — это попытка натянуть идеальную математическую паутину на неровный ландшафт данных. Когда модель сопротивляется, она издаёт напряжение, но мы привыкли его игнорировать. Исследователи часами вглядываются в графики остатков, пытаясь угадать, где модель «трещит по швам». Сквилер переводит это сопротивление в звук.

Клетка амёбы Dictyostelium ползёт по стеклу, оставляя за собой цепочку точек на плоскости — запись её траектории. Какие силы направляют это движение? Внутри клетки действует молекулярный мотор: белки сокращаются, мембрана пружинит, вода создаёт давление.

Представьте: два фотографа снимают одну и ту же гору. Один делает сотню кадров с вершины и лишь пару у подножия, другой — наоборот. Если попытаться совместить их снимки, алгоритм может решить, что вершина на одном снимке соответствует вершине на другом просто потому, что там много похожих точек, а не потому, что это одно и то же место. Плотность съёмки сбивает с толку.