Резервуар с поправкой: как предсказать шумный хаос ✎

Оригинал: "Reservoir Computing with Error Correction: Long-term Behaviors of Stochastic Dynamical Systems"
arXiv:2305.00669 · 2023-05-01 · arXiv non-exclusive · собственный разбор · 2 мин
Гибрид резервуарного компьютера и нормализующего потока впервые позволяет долго предсказывать стохастические динамические системы и воспроизводить их редкие режимы.

Переводчик, который научился исправлять собственные оговорки, работает точнее. В мире прогнозирования шумных процессов эту роль берёт на себя новый метод: резервуарный компьютер, который на каждом шаге добавляет к своему прогнозу случайную поправку. Раньше такие системы быстро сбивались, потому что шум копил ошибки, как переводчик, который не замечает своих оговорок, и к концу речи смысл терялся. Теперь ошибка моделируется отдельно и превращается в инструмент.

Резервуарный компьютер — это сеть с фиксированными внутренними связями, которая учится только на выходе. Он хорошо предсказывал хаос без шума, но стоило добавить случайность, как прогнозы расходились с реальностью уже через несколько шагов. Авторы метода RC-NF пошли иначе: сначала обучили резервуар на множестве траекторий, а затем с помощью нормализующего потока оценили, какую ошибку он делает на каждом шаге. Нормализующий поток — это генеративная модель, которая превращает простое распределение в сложное, и здесь она ловит распределение ошибки.

Во время прогноза на каждом шаге к выходу резервуара добавляется случайная поправка, сгенерированная из этого распределения. Так ошибка перестаёт накапливаться, а вместо одной траектории метод выдаёт целый веер возможных путей.

Проверка на семи системах показала, что метод воспроизводит не только среднее поведение, но и редкие события. Для процесса с двумя ямами, где система иногда перескакивает из одной устойчивой точки в другую, RC-NF воспроизвёл скорость переходов с ошибкой менее 0.001. Для стохастической системы Лоренца расстояние Вассерштейна, мера различия между распределениями, составило 0.0266 против 0.0479 у чистого резервуарного компьютера. Медиана максимального показателя Ляпунова, который характеризует хаотичность, оказалась 2.5622 при истинном значении 2.5557.

Ключевое отличие от прежних подходов: метод не требует знать уравнения системы и не отбирает специальные траектории. Он учится только на данных и напрямую работает с внутренним шумом.

Переводчик, который слышит свои оговорки и исправляет их на лету, сохраняет смысл долгой речи. Так и RC-NF удерживает статистику процесса на длинных интервалах, открывая путь к прогнозам климатических колебаний, биологических ритмов и финансовых рядов без знания их уравнений.

Метод RC-NF воспроизводит скорость переходов в системе с двумя ямами с точностью до третьего знака после запятой, что сопоставимо с точностью прямого численного моделирования.

Понятия
резервуарные вычисления стохастическая динамическая система стохастическое моделирование вычислительная гидродинамика динамические системы оптимизация вероятностный прогноз бутстрэп вероятностная модель марковская цепь регуляризация статистический метод нормирующие потоки линейная регрессия нелинейный спектральный анализ Лапласиана динамика жидкости с узором моделирование биологических ритмов уравнения Навье — Стокса методы Монте-Карло методы регуляризации