Un écoulement turbulent dans un tuyau et les oscillations d'un pendule semblent très différents. Mais ils ont un point commun : tous deux obéissent à leurs propres lois du mouvement, qui peuvent être décrites par des nombres. Un réseau de neurones entraîné uniquement sur une telle « danse » de nombres se met soudain à comprendre une autre — sans un seul exemple supplémentaire. C'est comme un musicien qui, après avoir appris une mélodie, joue à vue une pièce inconnue en en saisissant l'harmonie.
Dans cette nouvelle étude, les chercheurs ont pris un petit modèle transformeur — le même type que celui qui sous-tend les grands modèles de langage. Ils l'ont entraîné à prédire un système dynamique, puis l'ont testé sur un autre, complètement différent. Le modèle ne se contentait pas de deviner : il utilisait une astuce ingénieuse. D'abord, il « dépliait » une courte série d'observations dans un espace multidimensionnel, comme si l'on transformait un ruban plat en spirale tridimensionnelle. La géométrie cachée du système apparaissait alors. Ensuite, il trouvait dans cet espace des « îlots de stabilité » — des régions vers lesquelles le système tend à revenir, comme une bille qui roule dans un creux. Ces îlots l'aidaient à faire des prédictions précises à court terme.
Cette découverte explique pourquoi les grands modèles pré-entraînés réussissent si bien des tâches qu'ils n'ont jamais vues lors de l'entraînement. Il s'avère que le mécanisme d'attention sait lui-même extraire une structure globale à partir de données locales. Pour les physiciens et les ingénieurs, cela signifie qu'un réseau entraîné une fois pourrait devenir un prédicteur universel pour toute une classe de systèmes — de la turbulence dans un moteur aux oscillations du climat. Et le point de départ était cette fameuse « danse des nombres » avec laquelle tout a commencé.
Un transformeur entraîné sur un seul système dynamique a pu, sans réentraînement, prédire un autre système, même s'il était turbulent et chaotique. Pour ce faire, il a lui-même construit une « carte » du système dans un espace multidimensionnel, comme un cartographe qui dessine un relief à partir de points épars.
Cette capacité de transfert de connaissances rappelle « l'intuition » de l'intelligence artificielle dans le roman de Ted Chiang « Le cycle de vie des objets logiciels » : entraînée sur certains exemples, elle commence à comprendre des régularités que personne ne lui a demandées.