Des signaux superposés accélèrent l'apprentissage express
On peut comparer un réseau de neurones à une résidence où chaque locataire dispose de sa propre chambre. En général, chaque signal dans les données occupe un neurone distinct, et l'apprentissage se fait séquentiellement : d'abord un signal, puis un autre. C'est lent et cela dépend des données rencontrées.
Mais si l'on autorise plusieurs signaux à partager la même chambre — en les superposant — le tableau change. Les chercheurs ont construit un modèle simple « maître-élève » et ont dérivé des formules pour l'apprentissage sans superposition. Il s'avère que l'exposant dans la loi d'apprentissage (c'est-à-dire la vitesse à laquelle l'erreur diminue avec le temps) dépend de la statistique des données et de l'importance des canaux.
Lorsqu'un « goulot d'étranglement » pour la superposition apparaît dans le modèle, on passe à une loi universelle : l'erreur décroît comme l'inverse du temps. Cela ne dépend ni des données ni de l'importance des canaux. L'apprentissage s'accélère jusqu'à dix fois par rapport à un balayage séquentiel des signaux.
Ce rythme rapide avec un exposant universel pourrait expliquer pourquoi les grands modèles de langage, qui utilisent massivement la superposition, apprennent si efficacement. C'est peut-être précisément le chevauchement des signaux qui leur permet de saisir rapidement les régularités du langage, sans s'enliser dans les détails.
La superposition des signaux ressemble à la façon dont nous mémorisons les visages : nous ne stockons pas un neurone dédié pour chaque connaissance, mais un code distribué où les mêmes neurones participent à différents souvenirs.
Dans le roman « Blindsight » de Peter Watts, une intelligence extraterrestre utilise des représentations distribuées pour traiter l'information à une vitesse incroyable — un peu comme la superposition accélère l'apprentissage.