SEA-ViT : quand une IA apprend à lire les courants ✛

Original: "SEA-ViT: Sea Surface Currents Forecasting Using Vision Transformer and GRU-Based Spatio-Temporal Covariance Modeling"
· Teerapong Panboonyuen
arXiv:2409.16313 · 2024-09-14 · CC BY 4.0 · 2 min
Une IA prédit les courants marins comme un interprète qui écoute toute la salle et se souvient de toute la conversation.

Un interprète dans une grande salle ne se contente pas d'écouter les mots. Il suit toutes les conversations à la fois, se souvient de qui a dit quoi plus tôt, et devine ce qui va suivre. SEA-ViT fonctionne de la même manière, sauf qu'au lieu de voix, elle écoute l'océan.

Les courants océaniques ressemblent à une conversation : l'eau ne se déplace pas toute seule, mais sous l'influence du vent, des marées et d'événements climatiques lointains. Autrefois, les ordinateurs calculaient chaque point séparément, comme si l'interprète n'entendait qu'une seule personne. SEA-ViT utilise deux techniques. Une couche voit tout le champ de courants d'un coup, comme un interprète qui embrasse la salle du regard. Une autre couche se souvient de ce qui s'est passé hier et il y a une semaine, car elle lit les données à la fois vers l'avant et vers l'arrière dans le temps.

L'ENSO est une balançoire climatique : le chaud El Niño et le froid La Niña se succèdent. De lui dépend le comportement des courants.

Quand El Niño survient, l'eau au large des côtes thaïlandaises se déplace différemment. SEA-ViT reçoit un indice à ce sujet, comme un interprète à qui l'on dit qu'aujourd'hui tout le monde parlera plus vite dans la salle. Les erreurs commises ces jours-là sont sanctionnées plus sévèrement, si bien que le modèle apprend à être attentif précisément quand c'est le plus important.

Désormais, SEA-ViT peut prédire les courants dans le golfe de Thaïlande et la mer d'Andaman. Les marins et les pêcheurs disposeront d'une prévision qui entend tout l'océan, et non pas seulement un point près de la côte. Et alors, l'interprète dans la salle de réunion ne sera plus une simple comparaison, mais un vrai travail : SEA-ViT traduit le langage de la mer en langage de routes sûres.

Le modèle est nommé SEA-ViT, ce qui fait à la fois référence à la mer (sea) et à l'architecture Vision Transformer (ViT). L'auteur se remercie lui-même dans la section des remerciements, ce qui est rare dans les articles scientifiques.

u' = \frac{u - \mu_u}{\sigma_u}
Standardisation par le score z pour obtenir une moyenne nulle et une variance unitaire
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
Somme pondérée des valeurs V, où les poids sont déterminés par la similarité entre les requêtes Q et les clés K
L = \frac{1}{N}\sum_{i=1}^{N}\left((U_i - \hat{U}_i)^2 + (V_i - \hat{V}_i)^2\right) + \lambda \cdot \text{ENSO\_weight} \cdot \left((U_i - \hat{U}_i)^2 + (V_i - \hat{V}_i)^2\right)
Erreur quadratique moyenne plus une pénalité pour les erreurs pendant les périodes d'El Niño et de La Niña
Notions
sea surface temperature OISST v2.1 OISST NRT prévision IRI courant océanique navigation sans GPS navigation