Разбирая запутанность: как отличить прямой сигнал от хора голосов ✛

Оригинал: "Disentangling high order effects in the transfer entropy"
arXiv:2402.03229 · 2024-02-05 · CC BY 4.0 · 4 мин
Новый метод раскладывает передачу информации между процессами на три части: уникальную, избыточную и синергетическую, показывая, сколько в потоке данных приходится на чистую пару и сколько на коллективные эффекты.

Оркестр без дирижёра играет сложную пьесу. Слушатель слышит общую музыку, но хочет понять, кто ведёт мелодию, а кто лишь подхватывает её в унисон. Примерно так же выглядит задача, которую решают исследователи из новой работы: в любой сложной системе, будь то климат, мозг или финансы, множество процессов влияют друг на друга одновременно, и разобраться, где прямая связь, а где коллективный эффект, невероятно трудно.

До сих пор у учёных было два крайних подхода. Первый просто игнорировал все остальные процессы и смотрел только на пару: как сильно одна переменная предсказывает другую. Второй учитывал все остальные переменные сразу, но при этом терял разницу между теми, кто действительно важен, и теми, кто лишь создаёт шум. Авторы предлагают третий путь: искать не все подмножества, а только те, которые максимально ослабляют или максимально усиливают передачу информации между двумя интересующими нас процессами. Разница между этими крайними случаями и обычным парным значением как раз и показывает, сколько в потоке данных приходится на чистую пару, а сколько на коллективные эффекты.

Передача информации не всегда означает причинность: если два процесса реагируют на общий внешний фактор, между ними может наблюдаться сильная связь, хотя ни один не влияет на другой напрямую. Новый метод помогает отделить такие случаи.

Работает это так. Берём два процесса, например температуру поверхности океана в тропической части Тихого океана (индекс Эль-Ниньо) и разницу атмосферного давления между Таити и Дарвином (Южное колебание). Сначала измеряем, сколько информации о будущем давления содержится в прошлом температуры, игнорируя все остальные климатические индексы. Получаем парное значение. Затем перебираем все возможные подмножества других индексов и находим такое, при котором эта передача информации становится минимальной. Это значит, что найденные переменные дублировали часть сигнала, то есть создавали избыточность. Потом ищем подмножество, при котором передача становится максимальной. Оно показывает, что часть информации проявляется только при совместном учёте нескольких переменных, то есть возникает синергия. Разница между парным значением и минимумом даёт избыточную составляющую, разница между максимумом и парным значением — синергетическую, а сам минимум считается уникальным вкладом, который можно отнести на счёт прямой связи между двумя процессами.

На игрушечной модели из четырёх процессов, где два источника сходятся в одном узле, а тот уже влияет на цель, метод показал себя безупречно. Парная передача от одного источника к цели составила 0.32, минимальная — ноль, максимальная — 1.25. Разложение дало: уникальный вклад равен нулю, избыточный — 0.32, синергетический — 0.93. Это в точности соответствует устройству модели: прямого пути нет, но информация проходит через общий узел и через совместное действие двух источников. На реальных климатических данных результат оказался не таким драматичным, но не менее важным. Парная передача от Эль-Ниньо к Южному колебанию составила 0.078, минимальная — 0.074, максимальная — 0.094. Уникальный вклад — 0.074, избыточный — 0.004, синергетический — 0.016. То есть около 20% от максимального потока информации приходится на коллективные эффекты, которые невозможно увидеть, если смотреть только на пару.

Эль-Ниньо и Южное колебание настолько тесно связаны, что их объединяют в одну аббревиатуру ENSO. Но даже в такой паре пятая часть информации передаётся не напрямую, а через другие климатические индексы, например температуру Северной или Южной тропической Атлантики.

Этот метод ценен не только для климатологии. Его можно применять к любым временным рядам, где нужно отделить прямые связи от опосредованных: в нейробиологии, чтобы понять, как взаимодействуют разные области мозга; в экономике, чтобы выявить, какие рынки действительно влияют друг на друга, а какие просто реагируют на общие новости; в социальных сетях, чтобы отличить реальное влияние от эффекта толпы. И в отличие от многих других подходов к высшим порядкам, он не требует огромных вычислительных ресурсов, потому что использует жадный алгоритм: переменные добавляются по одной, пока добавление не перестаёт значимо менять результат. Это делает метод применимым к большим сетям с сотнями и тысячами узлов.

Оркестр без дирижёра продолжает играть, но теперь у нас есть способ разобрать партитуру. Мы можем не только услышать общую музыку, но и понять, какие инструменты ведут мелодию, какие лишь вторят ей, а какие создают гармонию, которая не существует ни в одной отдельной партии. И это понимание открывает путь к более точному анализу причинности в сложных системах, где коллективные эффекты не являются экзотикой, а составляют заметную долю информационного потока.

Эль-Ниньо и Южное колебание настолько тесно связаны, что их объединяют в одну аббревиатуру ENSO, но предложенный метод показывает: даже в такой паре около пятой части информации передаётся не напрямую, а через другие климатические индексы, такие как температура Северной тропической Атлантики или Южной тропической Атлантики.

Учёные
Ludwig BoltzmannRudolf ClausiusJacob BekensteinStephen HawkingJames Clerk MaxwellEdward Witten
Понятия
энтропия теория информации обработка информации принцип максимальной энтропии теория игр оптимальная транспортировка перенос обучения телеконнекция энтальпия дифференциальное уравнение с запаздыванием фазовый переход первого рода передача данных сеть начальные условия парадокс Браесса в биологии квантовый переключатель перенос в электролитах параметр порядка теплопередача южная осцилляция эль-ниньо