Как предсказать хаос, когда данных мало?

Оригинал: "Knowledge-based Deep Learning for Modeling Chaotic Systems"

· Zakaria Elabid, Tanujit Chakraborty, Abdenour Hadid

arXiv:2209.04259 · 2022-09-09 · CC BY 4.0 · 1 мин

Машинное обучение Вычислительная физика Статистическое машинное обучение

Нейросеть сначала учится на искусственных примерах, а потом понимает реальные экстремальные события.

Переводчик, который выучил грамматику языка на учебных примерах, теперь понимает живую речь с её акцентом и шумом. Так работает новый метод KDL: сначала нейросеть тренируется на искусственных данных, порождённых уравнением Льенара, а затем переносится на реальные временные ряды, где экстремальные события редки и непредсказуемы.

Экстремальные события — это гигантские волны-убийцы в океане, вспышки Эль-Ниньо, резкие скачки осадков. Они редки, поэтому данных мало, а их динамика нелинейна и чувствительна к шуму.

Секрет KDL в физической регуляризации: сеть предсказывает не только саму величину, но и её производные, а в функцию потерь добавлен член, требующий выполнения дифференциального уравнения. Это как если бы переводчик не просто запоминал фразы, а выучил грамматику языка, и теперь может распознавать даже незнакомые конструкции. На данных Эль-Ниньо KDL показал наименьшую ошибку RMSE (0.428 против 0.433 у LSTM при 20% обучающих данных) и наименьшую физическую невязку (276.654 против 283.340). При увеличении доли обучения до 80% преимущество сохраняется, но сокращается.

Весь граф →

Уравнение Льенара, использованное для генерации синтетических данных, было введено французским физиком Альфредом Льенаром в 1928 году для описания колебательных контуров и с тех пор стало классикой теории нелинейных осцилляторов. Интересно, что экстремальные события в таких системах возникают как редкие, но повторяющиеся всплески амплитуды, похожие на гигантские волны-убийцы в океане.

Идея предсказывать хаос с помощью гибридного знания перекликается с романом Айзека Азимова «Основание», где психоистория объединяет статистику и детерминированные законы для прогноза будущего больших систем. В отличие от Азимова, здесь физика вшита в нейросеть, а не в уравнения для масс, но дух гибридного подхода схож.

\frac{d^2x}{dt^2} + \alpha x \frac{dx}{dt} + \gamma x + \beta x^3 = f \sin(\omega t)

Второе уравнение системы, где α, γ, β — параметры нелинейности и затухания, f и ω — амплитуда и частота внешней силы

L_{phy} = RMSE\left(\frac{d^2y_{pred}}{dt^2} + \alpha y_{pred}\frac{dy_{pred}}{dt} + \gamma y_{pred} + \beta y_{pred}^3, f\sin(\omega t)\right)

Среднеквадратичная ошибка между левой частью уравнения Льенара для предсказанных значений и внешним воздействием

L_{phy} = RMSE\left(\frac{d^2y_{real}}{dt^2} + \alpha y_{real}\frac{dy_{real}}{dt} + \gamma y_{real} + \beta y_{real}^3, \frac{d^2y_{pred}}{dt^2} + \alpha y_{pred}\frac{dy_{pred}}{dt} + \gamma y_{pred} + \beta y_{pred}^3\right)

Сравнение левых частей уравнения для реальных и предсказанных рядов, чтобы прогноз удовлетворял той же динамике

Понятия

моделирование физики с помощью нейронных сетей нейронные сети прогностического обучения большие языковые модели теория хаоса динамические системы глубокое обучение в медицинской визуализации вычислительная гидродинамика динамика сложных систем стохастическая динамическая система сложные системы квантовый хаос обучающие данные математическая модель обучение навык прогноза языковая модель белков стохастическое моделирование обобщение вероятностный прогноз вычислительный анализ реакций

Я автор

Как предсказать хаос, когда данных мало?