Dans la glace antarctique, une particule fantôme ne laisse qu'un faible éclat de lumière bleue. Le détecteur IceCube capture ces éclats, et à partir d'eux, il faut déterminer d'où vient la particule. Le modèle PolarBERT a appris à le faire, mais ce qu'il voit réellement à l'intérieur restait un mystère.

Pour y voir plus clair, les chercheurs ont utilisé un autoencodeur parcimonieux, un réseau de neurones qui extrait un petit nombre de caractéristiques significatives des activations du modèle. Le résultat est un dictionnaire de 1024 directions latentes. Chaque direction est comme une étagère dans une bibliothèque, où repose une idée physique particulière.

Mais voici le paradoxe : la tête de direction, qui devrait utiliser cette bibliothèque, n'y fait presque jamais référence. La suppression ou la réécriture de ces caractéristiques modifie la direction prédite de moins de 0.1°, comme si un navigateur ignorait une carte détaillée pour ne suivre qu'une ligne grossière.

En revanche, l'autre tête, celle de l'incertitude, dépend causalement des caractéristiques brillant-propre. La suppression d'un seul latent modifie l'erreur prédite d'un facteur 1.36. En entraînant cette tête, les chercheurs ont pu sélectionner les événements de manière à améliorer la résolution angulaire médiane de 20.2° à 3.2° avec une efficacité de sélection de 20 %.

La bibliothèque de la physique a donc été écrite, mais pas pour la tâche pour laquelle elle a été construite. Cela ouvre la voie à de nouvelles applications : si le modèle stocke des connaissances qu'il n'utilise pas, on peut concevoir une tâche qui les exploite. Et alors, l'éclat dans la glace antarctique révélera sa source avec bien plus de précision.