Карта сокровищ нейросети: где Эль-Ниньо прячет свою предсказуемость ✛
Тропическая часть Тихого океана нагревается и остывает, как гигантская батарея, и от её ритма зависит погода от Индии до Канады. Этот ритм называют Эль-Ниньо — Южным колебанием, или коротко ЭНСО. Прогнозировать его на месяцы вперёд — всё равно что предсказывать, когда закипит кастрюля, не зная силы огня. Нейросети научились делать это лучше классических моделей, но их внутренняя логика была скрыта, как карта без обозначений. Теперь исследователи нашли способ подсветить на этой карте места, где нейросеть ищет предсказательную силу.
Для прогноза модель получает данные о температуре поверхности океана и теплосодержании за три месяца. Задача — предсказать индекс Ниньо-3.4, то есть среднюю температуру в определённом районе Тихого океана, на срок до 23 месяцев вперёд. Сначала авторы заметили, что нейросеть страдает от «исчезающего градиента»: многие её нейроны застревают в состоянии, когда обучение почти не меняет их поведение. Чтобы исправить это, перед функцией активации вставили обучаемые параметры, которые калибруют признаки, как настройщик подстраивает струны перед концертом.
Применив PPTV, учёные получили карту важности. Для прогноза на один месяц вперёд почти всё внимание сосредоточено в тропической части Тихого океана. Если обучить модель только на этих данных, точность почти не падает. Это подтверждает, что метод нашёл действительно ключевые области. С увеличением заблаговременности внимание расползается: сначала вдоль широты на тропические районы Индийского и Атлантического океанов, затем становится более рассеянным. Области южнее 40° южной широты всегда получают наименьшее внимание.
Анализ по каналам показал, что на коротких сроках важнее температура поверхности океана, а на длинных — теплосодержание, то есть тепло, запасённое в верхних слоях воды. Весной модель расширяет зону внимания на все три тропических океана, но точность прогноза всё равно снижается. Это указывает на ограниченность входных данных, а не на ошибки модели. Такой вывод связывает весенний барьер предсказуемости с нехваткой информации.
Карта сокровищ теперь подсвечена, но сокровища не найдены до конца. Весенний барьер остаётся, и авторы предлагают добавить больше переменных океана и атмосферы: ветер, солёность. Возможно, тогда нейросеть найдёт новые ориентиры и прогнозы станут точнее даже в самое капризное время года.
Метод PPTV основан на концепции полной вариации функции, которая восходит к работам Анри Лебега и используется в обработке изображений для подавления шума. Здесь она впервые применена для объяснения нейросетей в климатологии.