Переводчик на переговорах улавливает не только слова, но и тон, с которым они сказаны. Если он сосредоточится только на лексике, то пропустит сарказм или усталость в голосе. Если только на интонации — переврёт детали договора. В прогнозе погоды происходит похожая история: спутниковые снимки несут и локальные детали вроде грозовых ячеек, и глобальные волны, которые тянутся через весь океан.

Обычные нейросети, как правило, выбирают что-то одно. Одни разглядывают картинку по кусочкам и хорошо видят мелкие облака, но не чувствуют, что над континентом навис общий циклон. Другие смотрят на всю карту сразу, но тогда отдельные ливни сливаются в мутное пятно. SFANet работает иначе: она обрабатывает данные дважды, в двух разных «языках».

Дальше вступает модуль пространственно-частотного внимания. Он сопоставляет два «перевода» и решает, какой информации доверять в каждом месте прогноза. Например, для слабого моросящего дождя важнее усреднённая картина, а для грозового фронта — резкие перепады. Такой подход позволяет модели с 16,4 миллиона параметров обойти более тяжёлых конкурентов: на наборе SEVIR ошибка MSE снижается до 2.7308, а метрика CSI-16 достигает 0.7887.

Для прогноза Эль-Ниньо — тёплого течения, которое раз в несколько лет меняет погоду по всей планете — улучшение составляет 4,7% по ключевой метрике. Это много, если учесть, что от точности такого прогноза зависят урожаи и запасы воды. При этом модель обучалась всего на четырёх ускорителях A100, что делает её доступной для оперативных метеослужб.

Возвращаясь к переводчику: он не просто слушает два канала, а понимает, когда какой важнее. SFANet делает то же самое с картами осадков и температур. Раньше модели погоды напоминали переводчиков, которые либо закрывали глаза и вслушивались в интонацию, либо затыкали уши и читали по губам. Теперь появился способ слышать и видеть одновременно, и это уже меняет качество прогноза.