Comment un réseau de neurones apprend à parler comme un humain express
Un modèle de langage est une construction multicouche où chaque couche traite les mots à sa manière. Au début de l'apprentissage, les couches sont chaotiques, mais elles s'organisent progressivement en deux équipes. La première équipe fonctionne simplement : sa géométrie interne s'aplatit, devient moins enchevêtrée. La seconde reste complexe et sinueuse.
Les chercheurs ont comparé le modèle aux données d'IRMf de personnes écoutant ou lisant un texte. La similarité avec le cerveau n'apparaissait pas uniformément : dans les régions temporales (responsables du son et du sens des mots), elle était rapide et stable, tandis que dans les régions frontales (responsables de la construction des phrases), elle était plus tardive et progressive. De plus, pour les modèles plus grands, ce lien est plus fort.
Il en ressort que l'apprentissage du langage est un chemin du chaos vers l'ordre. Le cerveau fait peut-être de même : il aplatit certains chemins de traitement de l'information, tout en en laissant d'autres complexes pour la flexibilité.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2602.07539
How large language models (LLMs) align with the neural representation and computation of human language is a central question in cognitive science. Using representational geometry as a mechanistic lens, we addressed this by tracking entropy, curvature, and fMRI encoding scores throughout Pythia (70M-1B) training. We identified a geometric modularization where layers self-organize into stable low- and high-complexity clusters. The low-complexity module, characterized by reduced entropy and curvature, consistently better predicted human language network activity. This alignment followed heterogeneous spatial-temporal trajectories: rapid and stable in temporal regions (AntTemp, PostTemp), but delayed and dynamic in frontal areas (IFG, IFGorb). Crucially, reduced curvature remained a robust predictor of model-brain alignment even after controlling for training progress, an effect that strengthened with model scale. These results links training-driven geometric reorganization to temporal-frontal functional specialization, suggesting that representational smoothing facilitates neural-like linguistic processing.
On peut comparer les couches d'un modèle de langage aux étages d'un immeuble : les étages inférieurs décomposent les mots en sons et en lettres, les étages supérieurs construisent le sens à partir de ces éléments. L'étude a montré que les étages « simples » se trouvent plus près de l'entrée, et les étages « complexes » plus près de la sortie.
Dans le film « Her », l'intelligence artificielle Samantha évolue et finit par comprendre les humains mieux qu'eux-mêmes. Cette recherche est un pas vers la compréhension de la manière dont une machine pourrait atteindre un tel niveau.