Переводчик в шумном зале старается расслышать речь сквозь гул голосов. Обычный метод — заучить набор фраз и подставлять их по шаблону. Но если шум усиливается, шаблон ломается. Адаптивная нелинейная векторная авторегрессия работает иначе: она учится понимать смысл речи, отфильтровывая помехи.
В новой модели нелинейные признаки генерирует обучаемый многослойный перцептрон. Входом служит задержанное вложение — несколько последовательных значений ряда, сдвинутых во времени. Нейросеть преобразует этот вектор в признаки, которые затем объединяются с линейными и подаются на считывающий слой. Матрица считывания обучается совместно с перцептроном градиентным спуском, а не вычисляется через обращение матрицы. Это позволяет избежать узкого места классического подхода.
Эксперименты на трёх хаотических системах — Маккея–Гласса, Лоренца-63 и Лоренца-96 — показали преимущество адаптивного подхода. При 30% шума на системе Маккея–Гласса ошибка прогноза на 100 шагов составила 0.051 против 0.073 у стандартной модели. На Лоренце-96 только адаптивная версия смогла завершить обучение и прогноз: стандартная упёрлась в память, а эхо-сети — в вычислительное время. Обучаемая нелинейность оказалась устойчивее фиксированных полиномов.
Переводчик, который учится понимать смысл, а не заучивает фразы, справляется с шумом. Так и модель, порождающая признаки из данных, а не по шаблону, предсказывает хаос точнее. Это шаг от ручного конструирования признаков к автоматическому извлечению закономерностей — особенно ценно, когда физика процесса известна лишь приблизительно.
Для хранения матрицы признаков стандартной NVAR на системе Лоренца-96 потребовалось бы около 0.8 терабайта памяти — это примерно 200 полнометражных фильмов в высоком качестве. Адаптивная версия обошлась всего десятками мегабайт.
Идея обучаемой нелинейности для предсказания хаоса перекликается с «Основанием» Айзека Азимова: там психоистория предсказывала будущее больших масс людей, опираясь на статистические закономерности. Здесь модель учится законам хаоса из данных, что отдалённо напоминает попытку Гэри Селдона формализовать непредсказуемое.