On peut comparer un réseau de neurones à une résidence où chaque locataire dispose de sa propre chambre. En général, chaque signal dans les données occupe un neurone distinct, et l'apprentissage se fait séquentiellement : d'abord un signal, puis un autre. C'est lent et cela dépend des données rencontrées.

Mais si l'on autorise plusieurs signaux à partager la même chambre — en les superposant — le tableau change. Les chercheurs ont construit un modèle simple « maître-élève » et ont dérivé des formules pour l'apprentissage sans superposition. Il s'avère que l'exposant dans la loi d'apprentissage (c'est-à-dire la vitesse à laquelle l'erreur diminue avec le temps) dépend de la statistique des données et de l'importance des canaux.

Lorsqu'un « goulot d'étranglement » pour la superposition apparaît dans le modèle, on passe à une loi universelle : l'erreur décroît comme l'inverse du temps. Cela ne dépend ni des données ni de l'importance des canaux. L'apprentissage s'accélère jusqu'à dix fois par rapport à un balayage séquentiel des signaux.

Ce rythme rapide avec un exposant universel pourrait expliquer pourquoi les grands modèles de langage, qui utilisent massivement la superposition, apprennent si efficacement. C'est peut-être précisément le chevauchement des signaux qui leur permet de saisir rapidement les régularités du langage, sans s'enliser dans les détails.