📄 Version "Simple" affichee, "Avancé" n est pas encore prete. Ajoutez-le aux favoris pour aider a la prioriser. Demander l’analyse complète

Garder en tête la position exacte d'un stylo qu'on déplace lentement est une tâche banale pour le cerveau. Pour les réseaux de neurones artificiels, c'est presque impossible. Les réseaux récurrents classiques, comme GRU et LSTM, ont tendance à découper le mouvement continu en paliers rigides : le stylo ne glisse pas de façon fluide, il saute d'un point à un autre. Le réseau semble mémoriser non pas une ligne, mais plusieurs images distinctes.

Une équipe de chercheurs a proposé un réseau à division — le Recurrent Divisive Normalization Network (RDNN). Son secret ne réside pas dans la soustraction de signaux d'inhibition, mais dans leur division. Lorsqu'un neurone est actif, il ne se contente pas de réduire le voisin, il diminue sa sortie de manière proportionnelle. Cela rappelle le réglage du volume : si une pièce est bruyante, on ne soustrait pas le bruit de la parole, on divise — on parle plus fort par rapport au fond sonore. Ce mécanisme est largement répandu dans le cortex cérébral, mais il est rarement utilisé dans les réseaux artificiels.

L'analyse mathématique a montré que la division crée dans le réseau une variété lente — une trajectoire lisse le long de laquelle l'état de la mémoire peut évoluer sans sauts. Lorsque le réseau est entraîné par rétropropagation de l'erreur, la division met automatiquement à l'échelle les pas d'apprentissage : dans les zones fortement actives, la mise à jour des paramètres s'atténue. Cela compresse le rang effectif du réseau — la dynamique se resserre d'elle-même dans un canal étroit de faible dimension, évitant le sur-apprentissage et le chaos.

Dans des expériences sur des tâches de mémoire de travail, RDNN a retenu des signaux continus avec une précision des dizaines de fois supérieure à celle des réseaux classiques. Et lorsque la division a été remplacée par la soustraction, le réseau s'est immédiatement mis à fragmenter le signal continu en paliers. Il semble que la biologie n'ait pas choisi ce mécanisme par hasard — la division s'est avérée mathématiquement nécessaire pour stocker des grandeurs continues dans un monde changeant.

Résumé original

tel que rédigé par les auteurs, en anglais arXiv:2608.01947v1

The ability to robustly maintain and update continuous variables is a hallmark of working memory. While classical continuous attractor networks suffer from severe fine-tuning fragility, standard artificial recurrent neural networks (RNNs) like GRUs and LSTMs typically fail to stably learn continuous manifolds, instead shattering the state space into discretized point attractors. To bridge this gap, we draw inspiration from divisive normalization, a canonical neural computation widely observed across cortical circuits, and propose the Recurrent Divisive Normalization Network (RDNN), a minimal and algebraically isolated model of dynamic division. Through dynamical systems analysis on canonical working memory tasks, we demonstrate that this biophysical constraint allows the network to converge to robust, high-fidelity slow manifolds. Furthermore, we analyze the gradient dynamics of divisive normalization during Backpropagation Through Time (BPTT), showing that it introduces an activity-dependent local gradient scaling. This scaling dampens parameter updates in highly active regimes, which empirically aligns with a significant self-compression of the network's effective rank, confining the recurrent dynamics to a tight, low-dimensional subspace while avoiding the optimization pathologies associated with explicit low-rank factorization. Finally, ablations demonstrate that while subtractive inhibition can maintain static memories, divisive normalization is mathematically essential to prevent manifold shattering under time-varying inputs. Our findings identify divisive normalization not merely as a biological artifact, but as a critical computational mechanism for learning high-fidelity continuous representations.