Une IA apprend le climat avec trois cahiers ✛
Un élève qui a passé des années à résoudre des problèmes tirés de manuels d'autrui reçoit soudain trois cahiers contenant de vraies observations de l'océan. Les problèmes sont rares, mais il en a déjà vu des centaines de semblables, et désormais quelques exemples suffisent pour saisir la patte du nouveau professeur. C'est ainsi que le modèle de diffusion (un réseau de neurones qui apprend à débarrasser les données du bruit) appréhende le climat du Pacifique, où la phase chaude El Niño alterne avec la phase froide La Niña, pilotant la météo de la planète.
Le problème est que les mesures satellitaires et celles des bouées de la température de surface de l'océan ne remontent qu'au milieu du XXe siècle. Depuis, environ 720 cartes mensuelles moyennes ont été accumulées, alors qu'un réseau de neurones à des millions de paramètres exige en général des milliers d'exemples. Pour vérifier honnêtement ce que le modèle a réellement appris, les auteurs ont créé un banc d'essai : ils ont généré 120 000 champs synthétiques à structure connue. Sur ces données, le modèle a reproduit fidèlement la variabilité symétrique comme asymétrique, mais dès que l'échantillon a été réduit à la taille réelle, il s'est mis à mémoriser les exemples d'entraînement au lieu de généraliser.
La solution est venue de la nature même de l'apprentissage. D'abord, le modèle a été pré-entraîné sur des champs synthétiques issus de 30 modèles climatiques du projet CMIP6, en ajoutant à l'architecture un vecteur à huit dimensions codant l'identité de chaque modèle. Ensuite, sur les 720 observations réelles, seul ce vecteur a été affiné. Cette approche a permis d'atteindre une corrélation des schémas supérieure à 0.85 et une corrélation de l'asymétrie supérieure à 0.9, surpassant les modèles linéaires classiques. L'élève, entraîné sur une multitude de mondes virtuels, maîtrise en quelques exemples l'unique monde réel.
Les modèles de diffusion, qui génèrent aujourd'hui des visages et des paysages réalistes, ont été initialement inspirés par la thermodynamique hors équilibre, la science qui étudie comment les systèmes passent de l'ordre au chaos. Dans ces travaux, le même principe est inversé pour restaurer des structures climatiques ordonnées à partir du bruit.
L'idée d'entraîner une machine sur une multitude de mondes virtuels, puis de l'ajuster sur un seul monde réel, fait écho à la nouvelle de Ted Chiang « L'histoire de ta vie », où une linguiste apprend la langue des extraterrestres en s'appuyant sur de nombreuses grammaires hypothétiques pour comprendre une seule grammaire réelle.