Учёные давно используют крупнозернистые модели, чтобы объяснять поведение мелкозернистых систем. Температура служит макропеременной для кинетической энергии молекул, а в климатических моделях она сама становится микропеременной среди сотен измерений. Подбор подходящих переменных долго оставался делом интуиции, но теперь появились алгоритмы, способные делать это автоматически. Работа стоит рядом с исследованиями по обучению разложимых представлений и причинному выводу, но решает задачу для двух наборов данных сразу.
Автор строит причинный автоэнкодер из двух стохастических нейросетей, которые обучаются одновременно. Каждая сеть сжимает свой вход в узкое горлышко из нескольких нейронов, а затем предсказывает по нему другой набор данных. Дополнительный выход предсказывает текущее горлышко второй сети, что заставляет переменные вставать в линейную связь. После обучения переменные проходят через вариационные автоэнкодеры, которые ищут монотонные преобразования, минимизирующие зависимость между предиктором и остатком в аддитивной шумовой модели.
На синтетических данных с 64-мерными переменными алгоритм устойчиво находил ровно две макропеременные в каждом наборе, как и было заложено в генеративной модели. Для второй пары переменных проверка аддитивной шумовой модели дала HSIC-оценку 0.32 в одном направлении и 3.15 в обратном, что позволило верно определить причину. На климатических данных об Эль-Ниньо алгоритм выделил два паттерна, соответствующих тёплому бассейну и холодному языку. Причинную связь между этими переменными обнаружить не удалось, что согласуется с недельным масштабом данных.
Работа предлагает способ автоматически строить непрерывные макропеременные, которые сохраняют всю взаимную информацию между двумя наборами данных. В отличие от соседних подходов, которые дают категориальные кластеры, здесь переменные непрерывны и допускают проверку причинных связей. Это открывает путь к более детальному анализу сложных систем, где причинные паттерны не имеют естественной числовой шкалы.
Архитектуру причинного автоэнкодера можно расширить до рекуррентных или свёрточных сетей, чтобы работать с временными рядами и изображениями. Другое направление связано с теоретическим обоснованием связи между взаимной информацией в наблюдательных данных и мерами причинности из интервенционных распределений. Также стоит исследовать другие ограничения на функции между переменными, чтобы получать более интерпретируемые модели.
Метод может пригодиться в климатологии, нейробиологии и экономике, где нужно строить высокоуровневые модели по многомерным наблюдениям.
Проверить подход на более сложных синтетических данных с общими причинами и на временных рядах, а также сравнить с другими методами причинного вывода.
Работа затрагивает фундаментальную проблему выбора переменных для причинных моделей, которую философы науки только начинают систематизировать. Остаётся открытым вопрос, насколько критерии Вудворда выполнимы на практике и как оценивать возможность вмешательства в обнаруженные переменные.
Алгоритм обнаружил два известных типа Эль-Ниньо, хотя ему не сообщали о существовании этого явления.
Поиск скрытых причинных переменных напоминает попытки героев Айзека Азимова вывести законы психоистории из хаоса галактической истории.