Знание физики укрощает хаос: прогноз экстремальных событий на малых данных

Оригинал: "Knowledge-based Deep Learning for Modeling Chaotic Systems"

· Zakaria Elabid, Tanujit Chakraborty, Abdenour Hadid

arXiv:2209.04259 · 2022-09-09 · CC BY 4.0 · 2 мин

Машинное обучение Вычислительная физика Статистическое машинное обучение

Гибридная нейросеть, обученная на синтетике и физических законах, точнее предсказывает экстремальные явления, когда данных мало.

Переводчик, который выучил грамматику языка хаоса на учебных примерах, теперь понимает живую речь с её акцентом и шумом. Так работает новый метод KDL: сначала нейросеть тренируется на искусственных данных, порождённых уравнением Льенара, а затем переносится на реальные временные ряды, где экстремальные события редки и непредсказуемы.

Экстремальные события — это гигантские волны-убийцы в океане, вспышки Эль-Ниньо, резкие скачки осадков. Они редки, поэтому данных для обучения мало, а их динамика нелинейна и чувствительна к шуму. Классические физические модели требуют точных начальных условий и быстро расходятся с реальностью, а чисто data-driven подходы нуждаются в огромных выборках. KDL обходит это ограничение: он учится на синтетике, где экстремальных событий можно сгенерировать сколько угодно, и переносит знание на реальные данные.

Уравнение Льенара, использованное для генерации синтетических данных, было введено французским физиком Альфредом Льенаром в 1928 году для описания колебательных контуров и с тех пор стало классикой теории нелинейных осцилляторов. Интересно, что экстремальные события в таких системах возникают как редкие, но повторяющиеся всплески амплитуды, похожие на гигантские волны-убийцы в океане.

Секрет KDL в физической регуляризации: сеть предсказывает не только саму величину, но и её производные, а в функцию потерь добавлен член, требующий выполнения дифференциального уравнения. Это как если бы переводчик не просто запоминал фразы, а выучил грамматику языка, и теперь может распознавать даже незнакомые конструкции. На данных Эль-Ниньо KDL показал наименьшую ошибку RMSE (0.428 против 0.433 у LSTM при 20% обучающих данных) и наименьшую физическую невязку (276.654 против 283.340). При увеличении доли обучения до 80% преимущество сохраняется, но сокращается.

Для лихорадки денге перенос знаний с синтетики ухудшил результат, поэтому авторы отключили предобучение и оставили только физическую регуляризацию: KDL получил лучшую физическую невязку при 40% и 60% данных, хотя по RMSE уступил LSTM. На осадках острова Бьёрнёйа (15320 наблюдений) KDL выиграл по RMSE при 20%, 60% и 80% обучающих данных, но по физической невязке уступил резервуарным вычислениям. В среднем по всем наборам и разбиениям KDL занял первое место по RMSE (ранг 1.12) и MAE (ранг 1.29), обойдя LSTM, FFNN, CNN и ESN.

В отличие от соседних работ, где физика вшивалась через жёсткие ограничения или использовалась для эмуляции PDE, здесь производные вычисляются дискретно и включаются в функцию потерь LSTM, что делает метод применимым к реальным временным рядам без точных граничных условий.

Переводчик, выучивший грамматику на учебных примерах, теперь понимает живую речь с её акцентом и шумом. KDL уже сегодня может улучшить раннее предупреждение о климатических аномалиях, вспышках инфекций и экстремальных осадках в регионах с короткими рядами наблюдений. А в инженерии он применим для прогноза редких отказов в хаотических системах, например, в энергосетях.

Весь граф →

Идея предсказывать хаос с помощью гибридного знания перекликается с романом Айзека Азимова «Основание», где психоистория объединяет статистику и детерминированные законы для прогноза будущего больших систем. В отличие от Азимова, здесь физика вшита в нейросеть, а не в уравнения для масс, но дух гибридного подхода схож.

\frac{d^2x}{dt^2} + \alpha x \frac{dx}{dt} + \gamma x + \beta x^3 = f \sin(\omega t)

Второе уравнение системы, где α, γ, β — параметры нелинейности и затухания, f и ω — амплитуда и частота внешней силы

L_{phy} = RMSE\left(\frac{d^2y_{pred}}{dt^2} + \alpha y_{pred}\frac{dy_{pred}}{dt} + \gamma y_{pred} + \beta y_{pred}^3, f\sin(\omega t)\right)

Среднеквадратичная ошибка между левой частью уравнения Льенара для предсказанных значений и внешним воздействием

L_{phy} = RMSE\left(\frac{d^2y_{real}}{dt^2} + \alpha y_{real}\frac{dy_{real}}{dt} + \gamma y_{real} + \beta y_{real}^3, \frac{d^2y_{pred}}{dt^2} + \alpha y_{pred}\frac{dy_{pred}}{dt} + \gamma y_{pred} + \beta y_{pred}^3\right)

Сравнение левых частей уравнения для реальных и предсказанных рядов, чтобы прогноз удовлетворял той же динамике

Понятия

моделирование физики с помощью нейронных сетей нейронные сети прогностического обучения большие языковые модели теория хаоса динамические системы глубокое обучение в медицинской визуализации вычислительная гидродинамика динамика сложных систем стохастическая динамическая система сложные системы квантовый хаос обучающие данные математическая модель обучение навык прогноза языковая модель белков стохастическое моделирование обобщение вероятностный прогноз вычислительный анализ реакций

Я автор

Знание физики укрощает хаос: прогноз экстремальных событий на малых данных