SEA-ViT : un réseau de neurones qui entend la mer dans son ensemble ✛
Dans une salle de réunion, l'interprète n'écoute pas seulement celui qui parle, mais aussi le bourdonnement des voix, percevant qui regarde qui et qui se tait avant une réplique importante. C'est ainsi que SEA-ViT lit l'océan : elle ne voit pas des points isolés avec des bouées, mais tout le champ de courants d'un coup, comme une conversation unique de l'eau.
Auparavant, les modèles numériques calculaient chaque cellule de l'océan séparément, et ils manquaient de mémoire pour ce qui se passait au-delà de l'horizon. SEA-ViT est conçue différemment. La couche d'auto-attention du transformateur compare chaque point à tous les autres, comme un interprète qui garde en tête toute la salle. La GRU bidirectionnelle ajoute une mémoire du temps : elle se souvient de ce qui s'est passé hier et de ce qui se passera demain, car elle lit la séquence à la fois vers l'avant et vers l'arrière. Ensemble, elles transforment le chaos des courants en un récit cohérent.
L'indice climatique ENSO est également tissé dans le récit. Lorsqu'El Niño survient dans l'océan Pacifique, les eaux au large de la Thaïlande se comportent différemment que pendant La Niña. SEA-ViT reçoit cet indice comme un indice, comme un interprète à qui l'on aurait dit à l'avance qu'il fait chaud dans la salle et que tout le monde parlera plus vite. Les erreurs commises pendant ces périodes sont sanctionnées plus sévèrement, ce qui apprend au modèle à ne pas manquer les tournants importants.
Trente ans de données de radar haute fréquence ont été intégrés dans l'entraînement, et le modèle peut désormais prédire les courants dans le golfe de Thaïlande et la mer d'Andaman. Il ne se contente pas de produire des chiffres, il comprend comment des tourbillons lointains et des ondes de marée sont liés. C'est comme un interprète qui, après des années de pratique, commence à ressentir non seulement les mots, mais aussi les pauses, les regards et le silence avant la tempête.
Lorsque le modèle sera intégré au système GISTDA, les marins et les pêcheurs disposeront d'une prévision qui entend la mer dans son ensemble. Et alors, l'interprète dans la salle de réunion ne sera plus une métaphore, mais un vrai travail : SEA-ViT traduira le langage de l'océan en routes sûres et en prévisions précises.
Le modèle est nommé SEA-ViT, ce qui fait à la fois référence à la mer (sea) et à l'architecture Vision Transformer (ViT). L'auteur se remercie lui-même dans la section des remerciements, ce qui est rare dans les articles scientifiques.