Где проходит граница: алгоритм находит группы по разрывам в данных ✎

Оригинал: "A New Spectral Clustering Algorithm"
· W. R. Casper, Balu Nadiga
arXiv:1710.02756 · 2017-10-07 · arXiv non-exclusive · собственный разбор · 2 мин
Новый алгоритм SP-MGM ищет сообщества в графах, анализируя разрывы в компонентах собственных векторов лапласиана.

Представьте себе пограничную реку, которая разделяет две страны. На одном берегу живут одни люди, на другом — другие. Граница между ними не всегда очевидна: где-то река широкая и спокойная, а где-то узкая и бурная. Но именно в тех местах, где течение резко меняется, граница становится особенно заметной. Алгоритм SP-MGM ищет такие естественные разрывы в данных, чтобы понять, где заканчивается одна группа и начинается другая.

В основе метода лежит идея, что у каждого графа есть свои собственные колебания, которые описывают, как связаны между собой его вершины. Эти колебания можно представить как волны, распространяющиеся по сети. Если две части графа слабо связаны, то волна будет резко менять свою амплитуду на границе между ними. Алгоритм находит самое большое изменение амплитуды и проводит границу именно там. Такой подход позволяет автоматически определить число кластеров, не задавая его заранее.

Вместо того чтобы заранее решать, сколько групп должно быть в данных, алгоритм смотрит на сами данные и находит в них естественные разрывы. Это как если бы вы разрезали торт по линиям, которые уже есть в нём, а не по заранее намеченным.

Проверка на стандартных графах показала, что SP-MGM часто работает лучше популярных алгоритмов, особенно когда сеть небольшая и группы хорошо отделены друг от друга. При этом он выдаёт почти всегда на один кластер больше, чем число собственных мод. Это удивительное свойство указывает на то, что разрывы в собственных векторах действительно отражают структуру графа.

Применение к данным о температуре поверхности океана в регионе Niño 3.4 позволило выделить семь кластеров, которые соответствуют разным фазам Эль-Ниньо и Ла-Нинья. Интересно, что эти кластеры не определяются только одним индексом ONI, а значит, метод улавливает тонкие различия в «вкусах» этого климатического явления. Такая кластеризация может помочь лучше понять, как разные типы Эль-Ниньо влияют на погоду в разных регионах.

Итак, алгоритм SP-MGM предлагает простой и элегантный способ находить скрытые границы в данных. Он опирается на внутреннюю структуру графа, а не на внешние параметры, и может применяться в самых разных областях: от анализа социальных сетей до классификации климатических режимов. Возвращаясь к образу реки: алгоритм находит те места, где течение меняется, и это позволяет увидеть, где заканчивается одна страна и начинается другая.

Алгоритм SP-MGM почти всегда выдаёт ровно m+1 кластер при m собственных модах, хотя теоретически их может быть до $2^m$. Это указывает на глубокую связь между разрывами в собственных векторах и структурой графа.

Идея поиска скрытых структур по разрывам в данных напоминает анализ «паттернов» в романе Уильяма Гибсона «Распознавание образов», где героиня интуитивно находит аномалии в видеопотоках. Алгоритм формализует подобный поиск для графов.

L = I - D^{-1/2} A D^{-1/2}
Матрица, описывающая связность графа; её собственные векторы кодируют кластерную структуру.
A_{ij} = \exp(-d_{ij}^2 / (2\sigma))
Элементы матрицы сходства убывают с ростом расстояния между объектами.
\max_{i \neq m} \frac{(n_i - 1) \rho_1}{\lambda_{i,2}} < \frac{1}{4 n_m^{1/2}}
Если межкластерные связи слабы по сравнению с внутрикластерной связностью, алгоритм гарантированно найдёт кластеры.
Понятия
кластеризация нелинейный спектральный анализ Лапласиана кластеризация методом k-средних климатическая сеть метод наименьших квадратов ансамблевый прогноз спектральная картина энсо распознавание образов индекс Эль-Ниньо метод CLs нейронные сети согласованная фильтрация многомерный индекс ЭНСО кросс-корреляция южная осцилляция эль-ниньо накопление сигнала классификация подгонка методом наименьших квадратов поляриметрия с нейронными сетями