main concepts scientists sections
SimplePopulaireAvancé

Criticité auto-organisée dans les réseaux de neurones profonds ✛

Original: "Adaptive self-organized criticality in deep neural networks"
· Simon Vock, Christian Meisel
arXiv:2608.28431v1 · 2026-08-28 · CC BY 4.0 · 6 min
Neurones et cognition
La plasticité homéostatique locale amène à elle seule un réseau profond à un état critique, sans mesure de paramètres globaux.

Contexte

Près des transitions de phase, les systèmes présentent des propriétés collectives : une susceptibilité accrue, des corrélations à longue portée et un large répertoire de réponses dynamiques, utiles pour le calcul et la mémoire. Avec les indices empiriques de criticité dans l'activité neuronale, cela a conduit à l'hypothèse que le cerveau fonctionne près d'un état critique. La criticité auto-organisée fournit un mécanisme pour l'émergence de tels états sans réglage externe. Dans les réseaux adaptatifs, la rétroaction entre la dynamique rapide et l'adaptation structurelle lente peut conduire à l'auto-organisation. Une règle locale simple, où les nœuds inactifs gagnent des connexions et les nœuds actifs en perdent, amène la connectivité globale au point critique. Des principes analogues opèrent dans les réseaux de neurones biologiquement réalistes, où la plasticité synaptique dépendante de l'activité auto-organise la dynamique vers la criticité. Dans le domaine de l'apprentissage profond, les réseaux sont généralement contrôlés par des objectifs d'optimisation globaux ou par des paramètres architecturaux externes. Le maintien direct de la criticité via le jacobien exige une connaissance explicite d'une propriété globale du réseau. L'auto-organisation adaptative offre une possibilité qualitativement différente : le réseau régule son état global par une plasticité locale, sans mesurer la distance au point critique. Ces travaux se situent en marge : les travaux les plus proches dans les archives portent sur la dynamique cérébrale, les réseaux récurrents et la plasticité synaptique, mais personne n'a vérifié si la plasticité homéostatique locale pouvait à elle seule amener des réseaux profonds à propagation avant à un état critique.

Méthodes

Nous avons étudié des perceptrons multicouches entièrement connectés avec 9 couches cachées de 1000 ou 1600 neurones. La dynamique est décrite par une application discrète de couche en couche avec une activation de type tangente hyperbolique mise à l'échelle. Les poids sont initialisés uniformément dans l'intervalle [−0.05, 0.05] et multipliés par un facteur global m qui fixe la force des connexions. Pour quantifier, nous avons utilisé deux indicateurs : le paramètre de branchement σ, rapport entre l'activité moyenne de la couche de sortie et celle de la couche d'entrée, et le plus grand exposant de Lyapunov à temps fini λ0, calculé à partir des valeurs singulières du jacobien entrée-sortie via la différenciation automatique de PyTorch. La règle locale : l'activité d'un neurone est définie comme l'écart type de ses activations sur un lot d'images MNIST. Le seuil T est l'activité moyenne de la couche d'entrée. Si l'activité est inférieure au seuil, le neurone est inactif et une connexion entrante aléatoire est renforcée d'un pas fixe c ; si elle est supérieure, elle est affaiblie. À chaque itération, 50 % des neurones évaluent leur activité et 1 % de leurs connexions entrantes sont mises à jour. Lors de l'apprentissage conjoint, on effectue d'abord une étape de descente de gradient stochastique, puis une mise à jour homéostatique. Nous avons utilisé le jeu de données MNIST, avec 60 000 images d'entraînement et 10 000 images de test, un taux d'apprentissage de 10⁻³, sans momentum.

Résultats

Les réseaux ont été initialisés sur une large gamme de forces de connexion, allant du régime fortement sous-critique (m=0.25, l'activité s'atténue après quelques couches) au régime supercritique (m=2.0, l'activité croît de couche en couche). Après 20 époques d'adaptation homéostatique, tous les réseaux ont convergé vers un même état stationnaire : l'activité devient approximativement constante en profondeur, le paramètre de branchement σ se rapproche de 1, l'exposant de Lyapunov maximal λ0 tend vers 0, et la force moyenne des connexions atteint une valeur asymptotique commune. Cela se produit indépendamment des conditions initiales. Lors de l'apprentissage par descente de gradient sans homéostasie, le réseau bascule dans un régime supercritique : λ0 devient positif. L'ajout de la mise à jour homéostatique contrecarre cette dérive proportionnellement au pas c. Pour c suffisamment grand, le réseau reste proche du point critique tout au long de l'apprentissage. Cependant, la précision de classification diminue lorsque c augmente : le SGD pur donne la meilleure précision, et le renforcement de l'homéostasie dégrade progressivement le résultat. La similarité cosinus entre les vecteurs de mise à jour du SGD et du SOC est faible et négative, ce qui indique que les deux mécanismes déplacent les poids dans des directions très différentes de l'espace des paramètres.

Implications

Ce travail montre qu'un réseau profond à propagation avant peut s'approcher de manière autonome du régime critique grâce à une adaptation synaptique purement locale et dépendante de l'activité. Cela étend l'auto-organisation adaptative vers la criticité, démontrée auparavant principalement dans des réseaux de seuil abstraits et des modèles de systèmes neuronaux biologiques, aux réseaux profonds modernes. Le mécanisme clé est une rétroaction négative entre la dynamique locale et le paramètre de contrôle effectif du système. L'activité neuronale locale sert de capteur de la phase dynamique globale : une activité excessive affaiblit les interactions synaptiques, une activité insuffisante les renforce. Bien que la transition de phase soit une propriété collective de tout le réseau, l'activité locale contient suffisamment d'informations sur le côté de la transition où se trouve le système pour le ramener dans la région critique. Contrairement aux travaux voisins qui étudient soit des réseaux biologiques, soit utilisent des contraintes globales, nous montrons ici pour la première fois la possibilité d'une auto-organisation purement locale dans les réseaux profonds à propagation avant.

Développements futurs

Dans sa forme actuelle, le mécanisme SOC n'améliore pas l'apprentissage supervisé, mais entre en compétition avec lui. Le faible alignement entre les mises à jour par gradient et homéostatiques indique que les deux mécanismes optimisent des objectifs différents. La solution pourrait résider dans la combinaison du signal de la tâche et de la criticité dans une règle de plasticité commune, par exemple via un signal modulateur global associé à une activité locale. Le développement de telles règles d'apprentissage coordonnées constitue une direction importante pour les travaux futurs.

Impact

Les résultats pourraient influencer le développement de méthodes de stabilisation de l'apprentissage des réseaux profonds et la prévention de défaillances dynamiques telles que la perte de plasticité et l'effondrement du modèle.

Prochaines étapes

Développer des règles de plasticité qui concilient la régulation homéostatique de la criticité avec l'optimisation de la fonction objectif, éventuellement via un signal modulateur.

Problèmes ouverts clés

Ce travail relie la criticité auto-organisée au problème de l'apprentissage stable des réseaux profonds : comment maintenir un régime dynamique favorable sans compromettre l'optimisation de la tâche. Cela fait écho à la question non résolue de savoir comment le cerveau combine de multiples formes de plasticité synaptique pour réguler simultanément la fonction et la stabilité.

Le regard de la machine du savoir

Cette section s'adresse à l'auteur du travail et à ses collègues. Les travaux voisins ont été trouvés par une recherche sémantique dans notre archive, et non par correspondance de mots. Nous n'évaluons pas : nous montrons le champ autour.

Ce que fait ce travail

Ce travail montre qu'une règle homéostatique locale (les neurones actifs affaiblissent leurs connexions entrantes, les neurones inactifs les renforcent) suffit à amener des réseaux profonds entièrement connectés à un état critique, évalué par le paramètre de branchement et l'exposant de Lyapunov. Lors d'un apprentissage conjoint avec la descente de gradient, l'homéostasie contrecarre la supercriticité, mais entre en compétition avec l'optimisation de la tâche.

Où est sa force

La force de ce travail réside dans la démonstration que la criticité globale peut émerger d'une plasticité purement locale, sans contrôle explicite des propriétés globales, et dans l'analyse quantitative de l'interaction entre l'homéostasie et l'apprentissage par gradient.

Vers où avancer

À essayer

  • Vérifier si l'auto-organisation vers la criticité se maintient avec des connexions éparses ou des architectures convolutionnelles.
  • Explorer la possibilité de réduire le conflit entre l'homéostasie et la descente de gradient, par exemple en appliquant l'homéostasie à une partie seulement des couches ou avec un pas variable.
  • Utiliser comme métrique de criticité non seulement le paramètre de branchement et l'exposant de Lyapunov, mais aussi d'autres indicateurs, comme la distribution des tailles des avalanches d'activité.

Pourquoi cela peut compter

Si la plasticité locale peut maintenir automatiquement les réseaux profonds dans un régime critique, cela ouvre la voie à des architectures plus robustes et adaptatives, qui ne nécessitent ni réglage minutieux de l'initialisation ni contrôle externe de la dynamique.

Travaux voisins dans notre archive

L'archive est vide autour de ce travail : l'analyse la plus proche n'est qu'à 0.53, contre 0,64 d'ordinaire. Il semble qu'on ait peu foré à côté.

Le graphe entier →

La règle d'homéostasie est si simple qu'on peut la décrire en une ligne : si un neurone est trop actif, affaiblissez la connexion entrante ; s'il est trop passif, renforcez-la. Et cela suffit pour que le réseau trouve lui-même le point critique.

\sigma = \frac{a_{out}}{a_{in}}
σ=1 significa conservación de la actividad al propagarse a través de la red
\lambda_0 = \frac{1}{L} \log(\Lambda_0)
λ0=0 corresponde al punto crítico, donde las perturbaciones ni crecen ni se atenúan
w'_{ij} = \begin{cases} (|w_{ij}| - c) \cdot \operatorname{sgn}(w_{ij}) & \text{если } a_i > T \\ (|w_{ij}| + c) \cdot \operatorname{sgn}(w_{ij}) & \text{если } a_i < T \end{cases}
Una neurona activa debilita la conexión entrante, una inactiva la fortalece

Chiffres clés

  • capas ocultas: 9
  • neuronas por capa: 1000–1600
  • paso de homeostasis c: 0.001
  • fracción de neuronas actualizadas por iteración: 50%
  • épocas de adaptación: 20
Scientifiques
Emile Clapeyron
Notions
réseau neuronal profond réseaux de neurones en cartographie spatiale auto-organisation stochastique systèmes dynamiques auto-correction de l'IA réseaux antagonistes génératifs apprentissage profond en imagerie médicale réseau aléatoire apprentissage dynamique stochastique biologique accélération de la dynamique moléculaire stockage d'information contrôle en temps réel