Cette étude se situe à la périphérie de la carte des connaissances : presque personne à proximité, le voisin le plus proche à une distance de 0.557. Néanmoins, autour se trouvent des travaux sur le cerveau, les réseaux de neurones récurrents et les synapses : comment le cerveau se souvient après le silence, comment les gènes apprennent à jouer en rythme avec le chaos, pourquoi les neurones ne peuvent pas être amis avec tout le monde. Le courant commun de ces voisins est la tentative de comprendre comment la structure des connexions engendre le comportement collectif. Cet article s'inscrit dans ce courant, mais examine un paramètre que les voisins n'ont pas abordé : dans quelle mesure les signaux entrants sur chaque neurone se compensent mutuellement. Les travaux antérieurs n'étudiaient l'équilibre que comme un moyen de supprimer les valeurs aberrantes dans le spectre de la matrice de connexions, sans se demander s'il modifie la dynamique elle-même.
Les auteurs ont pris le modèle classique de réseau récurrent aléatoire de Sompolinsky et y ont ajouté un paramètre : le degré d'équilibre local. Chaque poids de connexion a été redéfini de sorte que la somme des poids entrants sur un nœud tende vers zéro en cas d'équilibre complet. Ensuite, ils ont simulé numériquement des réseaux de mille et trois mille nœuds avec différentes fonctions d'activation : ReLU linéaire, quadratique superlinéaire, sigmoïde et sous-linéaire. Pour la description analytique, ils ont utilisé la théorie dynamique du champ moyen, en dérivant des équations auto-cohérentes via des intégrales de chemin. La stabilité a été évaluée par la proportion de réseaux convergeant vers un point fixe et par l'exposant de Lyapunov maximal.
L'effet de l'équilibre s'est avéré opposé pour différentes classes de fonctions d'activation. Pour ReLU linéaire et la fonction quadratique, l'équilibre supprimait la divergence : avec un équilibre complet, la force de connexion critique après laquelle l'activité explose est passée de 1.4 à 1.8. Pour les fonctions sigmoïde et sous-linéaire, l'équilibre, au contraire, provoquait le chaos : l'exposant de Lyapunov maximal augmentait de manière monotone avec l'augmentation de l'équilibre. Pour les fonctions impaires, telles que la tangente hyperbolique, l'équilibre n'affectait pas du tout la dynamique. La raison est que pour les fonctions impaires, l'activité moyenne de la population est nulle, et l'entrée auto-générée que l'équilibre élimine disparaît d'elle-même. Pour les fonctions saturantes, une autre surprise est apparue : la dimensionnalité effective de la dynamique, mesurée par le rapport de participation, variait de manière non monotone avec l'augmentation de l'équilibre, atteignant un pic à une valeur intermédiaire.
Cette étude montre que l'équilibre local des connexions n'est pas simplement une correction cosmétique du spectre, mais un paramètre de contrôle indépendant de la dynamique collective. Il peut à la fois stabiliser le réseau et le plonger dans le chaos, selon la structure de l'élément individuel. Cela remet en question l'hypothèse répandue des fonctions d'activation impaires, qui masquait l'effet. Pour les neurosciences, ce résultat signifie que l'équilibre excitation-inhibition, observé expérimentalement dans le cortex, pourrait directement influencer si le réseau est en mode silence ou en activité chaotique.
Le sujet pourrait évoluer vers la vérification sur des données réelles. Les ensembles de données connectomiques à grande échelle, combinant la carte des synapses avec des enregistrements d'activité, permettraient d'estimer l'équilibre local par le nombre et la taille des synapses et de le comparer à la dimensionnalité de l'activité de la population. La question reste ouverte de savoir dans quelle mesure l'équilibre anatomique correspond à l'équilibre effectif des forces dans le modèle, car l'influence d'une synapse dépend de son emplacement sur la dendrite et du type de cellule. Il serait également intéressant d'étendre l'analyse à des réseaux avec des connexions clairsemées et une dynamique plus réaliste des neurones individuels.
Les résultats concernent directement les neurosciences computationnelles, la théorie des réseaux de neurones récurrents et la physique des systèmes désordonnés. Ils pourraient également être utiles en écologie et en génétique, où des modèles similaires décrivent les communautés d'espèces et les réseaux de gènes.
La prochaine étape est de vérifier les prédictions sur des données de connectomique fonctionnelle, en comparant l'équilibre anatomique avec la dimensionnalité de l'activité. En théorie, il faudrait étudier comment l'équilibre interagit avec d'autres caractéristiques structurelles, telles que la parcimonie ou les composantes de bas rang.
Cette étude est liée à un problème de longue date en neurosciences : pourquoi les réseaux corticaux fonctionnent dans un régime proche du chaos sans y sombrer. L'équilibre local excitation-inhibition, étudié ici, pourrait être l'un des mécanismes qui maintiennent le réseau au bord. Cela contribue également à comprendre comment l'anatomie détermine les propriétés computationnelles du réseau, ce qui reste une question ouverte.
Cette section s'adresse à l'auteur du travail et à ses collègues. Les travaux voisins ont été trouvés par une recherche sémantique dans notre archive, et non par correspondance de mots. Nous n'évaluons pas : nous montrons le champ autour.
Ce que fait ce travail
Les auteurs ont repris le modèle classique de réseau récurrent aléatoire de Sompolinsky et y ont ajouté un paramètre d'équilibre local. Par des méthodes numériques et analytiques, ils ont montré que l'équilibre supprime la divergence pour les fonctions d'activation linéaires et superlinéaires, mais provoque le chaos pour les fonctions saturantes et sous-linéaires, et n'affecte pas les fonctions impaires. Ils ont également observé une variation non monotone de la dimension effective pour un équilibre intermédiaire.
Où est sa force
Ce travail introduit l'équilibre local comme paramètre de contrôle autonome de la dynamique, et non plus seulement comme une régularisation du spectre. Cela ouvre une voie simple pour commuter les régimes d'activité du réseau en modifiant un seul paramètre.
Vers où avancer
À essayer
Pourquoi cela peut compter
L'équilibre entre excitation et inhibition est une propriété observée expérimentalement dans les réseaux corticaux. Comprendre comment il contrôle la dynamique pourrait relier les mesures structurelles aux états fonctionnels du cerveau et aider à concevoir des réseaux de neurones récurrents présentant les régimes d'activité souhaités.
Travaux voisins dans notre archive
L'archive est vide autour de ce travail : l'analyse la plus proche n'est qu'à 0.54, contre 0,64 d'ordinaire. Il semble qu'on ait peu foré à côté.
En cas d'équilibre complet (lorsque la somme des poids entrants est nulle), l'activité moyenne dans le temps de chaque neurone du réseau est strictement nulle, même si le réseau est en régime chaotique. Cela est prouvé analytiquement dans l'annexe de l'article.