Des signaux superposés accélèrent l'apprentissage express
On peut comparer un réseau de neurones à une résidence où chaque locataire dispose de sa propre chambre. En général, chaque signal dans les données occupe un neurone distinct, et l'apprentissage se fait séquentiellement : d'abord un signal, puis un autre. C'est lent et cela dépend des données rencontrées.
Mais si l'on autorise plusieurs signaux à partager la même chambre — en les superposant — le tableau change. Les chercheurs ont construit un modèle simple « maître-élève » et ont dérivé des formules pour l'apprentissage sans superposition. Il s'avère que l'exposant dans la loi d'apprentissage (c'est-à-dire la vitesse à laquelle l'erreur diminue avec le temps) dépend de la statistique des données et de l'importance des canaux.
Lorsqu'un « goulot d'étranglement » pour la superposition apparaît dans le modèle, on passe à une loi universelle : l'erreur décroît comme l'inverse du temps. Cela ne dépend ni des données ni de l'importance des canaux. L'apprentissage s'accélère jusqu'à dix fois par rapport à un balayage séquentiel des signaux.
Ce rythme rapide avec un exposant universel pourrait expliquer pourquoi les grands modèles de langage, qui utilisent massivement la superposition, apprennent si efficacement. C'est peut-être précisément le chevauchement des signaux qui leur permet de saisir rapidement les régularités du langage, sans s'enliser dans les détails.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2602.01045
We investigate the role of feature superposition in the emergence of power-law training dynamics using a teacher-student framework. We first derive an analytic theory for training without superposition, establishing that the power-law training exponent depends on both the input data statistics and channel importance. Remarkably, we discover that a superposition bottleneck induces a transition to a universal power-law exponent of $$\sim 1$$, independent of data and channel statistics. This one over time training with superposition represents an up to tenfold acceleration compared to the purely sequential learning that takes place in the absence of superposition. Our finding that superposition leads to rapid training with a data-independent power law exponent may have important implications for a wide range of neural networks that employ superposition, including production-scale large language models.
La superposition des signaux ressemble à la façon dont nous mémorisons les visages : nous ne stockons pas un neurone dédié pour chaque connaissance, mais un code distribué où les mêmes neurones participent à différents souvenirs.
Dans le roman « Blindsight » de Peter Watts, une intelligence extraterrestre utilise des représentations distribuées pour traiter l'information à une vitesse incroyable — un peu comme la superposition accélère l'apprentissage.