Как нейросеть учится слышать хаос сквозь шум ✛

Оригинал: "Adaptive Nonlinear Vector Autoregression: Robust Forecasting for Noisy Chaotic Time Series"
arXiv:2507.08738 · 2025-07-11 · CC BY 4.0 · 1 мин
Вместо заученных фраз — понимание смысла: обучаемая нейросеть делает прогноз точным даже при сильном шуме.

Переводчик в шумном зале старается расслышать речь сквозь гул голосов. Обычный метод — заучить набор фраз и подставлять их по шаблону. Но если шум усиливается, шаблон ломается. Адаптивная нелинейная векторная авторегрессия работает иначе: она учится понимать смысл речи, отфильтровывая помехи.

Стандартная нелинейная векторная авторегрессия строит нелинейные признаки по жёсткому полиномиальному шаблону. Это как переводчик, который знает только заученные фразы.

В новой модели нелинейные признаки генерирует обучаемая нейросеть. Она получает несколько последовательных значений ряда и преобразует их в полезные признаки. Затем эти признаки объединяются с исходными и подаются на линейный слой. Всё это обучается вместе, без обращения больших матриц. На системе Лоренца-96 со 100 переменными стандартной модели потребовалось бы около 0.8 терабайта памяти, а адаптивная версия обошлась десятками мегабайт.

Эксперименты на трёх хаотических системах показали, что адаптивная модель точнее стандартной, особенно при шуме до 30%. На системе Маккея–Гласса ошибка прогноза на 100 шагов составила 0.051 против 0.073 у стандартной модели. На стомерной системе только адаптивная версия смогла завершить обучение. Переводчика, который учится понимать смысл, а не заучивает фразы, шум не сбивает.

Для хранения матрицы признаков стандартной NVAR на системе Лоренца-96 потребовалось бы около 0.8 терабайта памяти — это примерно 200 полнометражных фильмов в высоком качестве. Адаптивная версия обошлась всего десятками мегабайт.

Идея обучаемой нелинейности для предсказания хаоса перекликается с «Основанием» Айзека Азимова: там психоистория предсказывала будущее больших масс людей, опираясь на статистические закономерности. Здесь модель учится законам хаоса из данных, что отдалённо напоминает попытку Гэри Селдона формализовать непредсказуемое.

Понятия
нелинейный спектральный анализ Лапласиана регрессия нейронной сети нейронные сети прогностического обучения резервуарные вычисления большие языковые модели линейная регрессия вероятностный прогноз слабое обучение методы регуляризации нелинейная динамика языковая модель белков авторегрессионная модель параметр случайная сеть регуляризация трансформеры автоэнкодер устойчивое машинное обучение стохастическое моделирование генеративно-состязательные сети