Когда человек слушает чужую речь, он различает и слова, и интонацию. Если убрать одно из двух, смысл исказится. Похоже устроен прогноз погоды: на спутниковом снимке есть и мелкие детали вроде отдельных облаков, и крупные волны, которые охватывают полконтинента. Раньше нейросети умели хорошо видеть либо то, либо другое, но не оба сразу.
SFANet работает как внимательный переводчик. Сначала она рассматривает снимок по частям, усредняя соседние кусочки, чтобы не утонуть в деталях. Потом она переводит картинку в другой вид, где видно крупные и мелкие волны, как на нотной записи. Дальше специальный модуль сравнивает оба «перевода» и решает, какому из них верить в каждой точке.
Благодаря такому подходу модель с 16,4 миллиона параметров предсказывает осадки точнее, чем более тяжёлые конкуренты. Для Эль-Ниньо — тёплого течения в Тихом океане, которое влияет на погоду по всему миру — улучшение составляет 4,7%. Это значит, что прогнозы станут надёжнее, а вычислительных ресурсов понадобится не больше, чем раньше.
Модель использует преобразование Фурье, которое было изобретено Жаном-Батистом Жозефом Фурье в 1822 году для описания распространения тепла. Сегодня оно помогает предсказывать дождь.
В романе Станислава Лема «Солярис» океан планеты демонстрирует сложную пространственно-временную динамику, которую трудно предсказать. SFANet, обрабатывая данные в двух доменах, отдаленно напоминает попытку понять такие системы через разные представления.