Le réseau trouve l’équilibre tout seul, sans thermomètre ✛

Original: "Adaptive self-organized criticality in deep neural networks"
· Simon Vock, Christian Meisel
arXiv:2608.28431v1 · 2026-08-28 · CC BY 4.0 · 2 min
Les neurones ajustent leurs connexions selon leur propre activité, et tout le réseau atteint la frontière entre l’extinction et l’explosion.

Une chaîne de personnes se transmet un message à voix basse. Si chacun parle trop doucement, le message s’éteint en chemin. S’il parle trop fort, il finit en cacophonie. Mais il existe un régime où le murmure parvient à la dernière personne sans déformation. Les scientifiques l’appellent le point critique, et le cerveau semble fonctionner précisément là.

Le point critique, c’est comme la température de congélation de l’eau. Un peu plus froid, c’est de la glace ; un peu plus chaud, c’est du liquide. Un réseau à ce point n’explose pas et ne s’éteint pas.

On pensait autrefois que seul un réglage extérieur des paramètres globaux pouvait amener un réseau à l’état critique. Mais dans ces nouveaux travaux, chaque neurone a reçu une règle simple : s’il est trop actif, qu’il affaiblisse sa connexion entrante ; s’il est trop passif, qu’il la renforce. C’est comme si chaque personne de la chaîne décidait elle-même de parler plus fort ou plus doucement, en ne s’orientant que sur sa propre voix.

Les scientifiques ont testé cela sur un réseau de neuf couches de mille neurones chacune. Ils l’ont lancé depuis différents états initiaux, allant d’un silence presque total à un bruit intense. Après vingt cycles d’auto-réglage, tous les réseaux sont arrivés au même régime : l’activité a cessé de décroître ou de croître, et la force des connexions s’est stabilisée. Le réseau a trouvé tout seul le point critique, comme l’eau trouve son niveau.

Mais lorsqu’on a ajouté à l’auto-réglage un apprentissage de reconnaissance de chiffres, la compétition a commencé. L’apprentissage ordinaire tire le réseau vers la résolution de la tâche, tandis que l’auto-réglage le tire vers la criticité. Ces deux forces se sont gênées mutuellement : plus la règle d’autorégulation était forte, moins le réseau reconnaissait bien les chiffres. Pour l’instant, le thermostat sans thermomètre fonctionne, mais il ne sait pas encore faire bon ménage avec la tâche.

La règle d'homéostasie est si simple qu'on peut la décrire en une ligne : si un neurone est trop actif, affaiblissez la connexion entrante ; s'il est trop passif, renforcez-la. Et cela suffit pour que le réseau trouve lui-même le point critique.

\sigma = \frac{a_{out}}{a_{in}}
σ=1 significa conservación de la actividad al propagarse a través de la red
\lambda_0 = \frac{1}{L} \log(\Lambda_0)
λ0=0 corresponde al punto crítico, donde las perturbaciones ni crecen ni se atenúan
w'_{ij} = \begin{cases} (|w_{ij}| - c) \cdot \operatorname{sgn}(w_{ij}) & \text{если } a_i > T \\ (|w_{ij}| + c) \cdot \operatorname{sgn}(w_{ij}) & \text{если } a_i < T \end{cases}
Una neurona activa debilita la conexión entrante, una inactiva la fortalece
Scientifiques
Emile Clapeyron
Notions
réseau neuronal profond réseaux de neurones en cartographie spatiale auto-organisation stochastique systèmes dynamiques auto-correction de l'IA réseaux antagonistes génératifs apprentissage profond en imagerie médicale réseau aléatoire apprentissage dynamique stochastique biologique accélération de la dynamique moléculaire stockage d'information contrôle en temps réel