SFANet : un interprète qui entend à la fois les mots et l'intonation ✛ ✎

Original: "SFANet: Spatial-Frequency Attention Network for Weather Forecasting"
arXiv:2405.18849 · 2024-05-29 · arXiv non-exclusive · analyse indépendante · 2 min
Le réseau de neurones apprend à prédire la pluie et El Niño en examinant simultanément la carte et sa « partition fréquentielle ».

Un interprète lors de négociations ne capte pas seulement les mots, mais aussi le ton avec lequel ils sont prononcés. S'il se concentre uniquement sur le vocabulaire, il manquera le sarcasme ou la fatigue dans la voix. S'il ne s'attache qu'à l'intonation, il trahira les détails du contrat. En prévision météorologique, l'histoire est similaire : les images satellite portent à la fois des détails locaux, comme les cellules orageuses, et des ondes globales qui s'étendent à travers tout l'océan.

Les réseaux de neurones classiques, en général, choisissent un aspect ou l'autre. Certains examinent l'image par morceaux et voient bien les petits nuages, mais ne sentent pas qu'un cyclone général menace le continent. D'autres regardent toute la carte d'un coup, mais alors les averses individuelles se fondent en une tache floue. SFANet fonctionne autrement : il traite les données deux fois, dans deux « langues » différentes.

La première langue est spatiale : le réseau moyenne les zones voisines de l'image, comme un interprète qui noterait les mots-clés. La seconde langue est fréquentielle : la transformée de Fourier décompose l'image en ondes grandes et petites, comme un interprète distingue le timbre et le rythme de la parole.

Ensuite, le module d'attention spatio-fréquentielle entre en jeu. Il compare les deux « traductions » et décide à quelle information se fier à chaque endroit de la prévision. Par exemple, pour une pluie fine et bruineuse, la vision moyennée est plus importante, tandis que pour un front orageux, ce sont les variations brusques qui comptent. Cette approche permet au modèle, fort de 16,4 millions de paramètres, de surpasser des concurrents plus lourds : sur l'ensemble SEVIR, l'erreur MSE descend à 2.7308 et la métrique CSI-16 atteint 0.7887.

Pour la prévision d'El Niño, ce courant chaud qui, tous les quelques années, bouleverse le temps sur toute la planète, l'amélioration est de 4,7% sur la métrique clé. C'est considérable, car de la précision d'une telle prévision dépendent les récoltes et les réserves d'eau. De plus, le modèle n'a été entraîné que sur quatre accélérateurs A100, ce qui le rend accessible aux services météorologiques opérationnels.

Pour en revenir à l'interprète : il n'écoute pas seulement deux canaux, il comprend quand l'un est plus important que l'autre. SFANet fait de même avec les cartes de précipitations et de températures. Auparavant, les modèles météo ressemblaient à des interprètes qui soit fermaient les yeux pour se concentrer sur l'intonation, soit se bouchaient les oreilles pour lire sur les lèvres. Désormais, il existe un moyen d'entendre et de voir simultanément, et cela améliore déjà la qualité des prévisions.

Le modèle utilise la transformée de Fourier, inventée par Jean-Baptiste Joseph Fourier en 1822 pour décrire la propagation de la chaleur. Aujourd'hui, elle aide à prédire la pluie.

Dans le roman « Solaris » de Stanislas Lem, l'océan de la planète présente une dynamique spatio-temporelle complexe difficile à prévoir. SFANet, en traitant les données dans deux domaines, rappelle de loin une tentative de comprendre de tels systèmes à travers différentes représentations.

Scientifiques
Niels BohrPascual JordanWerner HeisenbergJoseph Fourier
Notions
climate network prévision ERA5 ENSO NOAA CPC ensemble forecast reanalysis mécanisme d'attention réseaux de neurones en cartographie spatiale reconnaissance vocale spring predictability barrier zebiak cane model ERSST réseau de neurones El Niño-Southern Oscillation IRI Multivariate ENSO Index Jin-Timmermann model El Niño index prédiction des éruptions solaires