Настройка старого радиоприёмника требует терпения: медленно крутишь ручку, ловишь шорох, снова крутишь, пока сквозь помехи не проступит голос. Примерно так же агент с обучением с подкреплением искал в океане два участка, разность температур которых лучше всего предсказывает дожди в Таиланде. Ручек у него было две: сдвинуть прямоугольник и изменить его размер. Наградой служила сила связи между разностью температур и количеством осадков в сезон северо-восточного муссона, зимнего ветра, который приносит дожди в Юго-Восточную Азию.
Исходно районы были взяты из прежних исследований, но связь с дождями оказалась слабой, как едва слышный сигнал. Агент перебрал тысячи вариантов расположения и размеров, и постепенно корреляция выросла с 0.052 до 0.497 по целевой функции, которая усредняет квадраты корреляций для начала и отступления муссона. Оптимальные участки сдвинулись на сотни километров от исходных. Теперь разность температур между ними отражает именно местный муссонный механизм, а не глобальные течения.
Когда индекс добавили в нейросеть с памятью, ошибка прогноза на год вперёд уменьшилась в 11 из 12 групп метеостанций. На юге Таиланда корреляция индекса с осадками в начале муссона достигла -0.720, на севере в период отступления -0.738. Отрицательная связь означает, что чем теплее вода в одном районе относительно другого, тем меньше дождей в соответствующем сезоне, или наоборот. Лишь в одном кластере улучшения не было, что напоминает о том, что даже хорошо настроенный приёмник не всегда ловит все станции.
До этой работы было неясно, какие именно участки океана стоит слушать, чтобы предсказывать дожди в Таиланде, и может ли локальный индекс превзойти глобальные. Теперь найденные районы дают сильный сигнал, который улучшает годовой прогноз. Практическая польза прямая: управление водохранилищами и сельскохозяйственное планирование требуют точных долгосрочных прогнозов осадков. Агент, как радиолюбитель, нашёл нужную частоту, и теперь прогнозисты могут включать этот индекс в свои системы, не перебирая вручную тысячи вариантов.
Агент обучения с подкреплением исследовал тысячи комбинаций прямоугольников в океане, чтобы найти пару областей, разность температур которых лучше всего предсказывает дожди. Оптимальные области оказались сдвинуты на сотни километров от исходных, предложенных в предыдущих исследованиях.