Как найти в океане «ручку» для прогноза дождей ✛
Представьте, что вы настраиваете радиоприёмник и медленно крутите ручку, чтобы поймать нужную станцию. Агент с обучением с подкреплением делает то же самое, только вместо ручки у него два прямоугольника в океане, которые можно сдвигать и растягивать. Его цель — найти такую пару участков, чтобы разность температур воды между ними лучше всего предсказывала дожди в Таиланде.
Сначала районы были выбраны по старым данным, и связь с дождями была слабой. Агент перебрал тысячи вариантов, и связь усилилась в несколько раз. Найденные участки сдвинулись на сотни километров от исходных. Когда этот новый сигнал добавили в нейросеть с памятью, ошибка прогноза на год вперёд уменьшилась почти во всех группах метеостанций. Только в одном районе улучшения не было.
Теперь прогнозисты могут использовать этот индекс, чтобы точнее планировать воду для сельского хозяйства и водохранилищ. Раньше было непонятно, какие части океана слушать, а теперь агент нашёл нужную частоту, и сигнал стал чище.
Агент обучения с подкреплением исследовал тысячи комбинаций прямоугольников в океане, чтобы найти пару областей, разность температур которых лучше всего предсказывает дожди. Оптимальные области оказались сдвинуты на сотни километров от исходных, предложенных в предыдущих исследованиях.