Une division qui ne fragmente pas la mémoire express
Garder en tête la position exacte d'un stylo qu'on déplace lentement est une tâche banale pour le cerveau. Pour les réseaux de neurones artificiels, c'est presque impossible. Les réseaux récurrents classiques, comme GRU et LSTM, ont tendance à découper le mouvement continu en paliers rigides : le stylo ne glisse pas de façon fluide, il saute d'un point à un autre. Le réseau semble mémoriser non pas une ligne, mais plusieurs images distinctes.
Une équipe de chercheurs a proposé un réseau à division — le Recurrent Divisive Normalization Network (RDNN). Son secret ne réside pas dans la soustraction de signaux d'inhibition, mais dans leur division. Lorsqu'un neurone est actif, il ne se contente pas de réduire le voisin, il diminue sa sortie de manière proportionnelle. Cela rappelle le réglage du volume : si une pièce est bruyante, on ne soustrait pas le bruit de la parole, on divise — on parle plus fort par rapport au fond sonore. Ce mécanisme est largement répandu dans le cortex cérébral, mais il est rarement utilisé dans les réseaux artificiels.
L'analyse mathématique a montré que la division crée dans le réseau une variété lente — une trajectoire lisse le long de laquelle l'état de la mémoire peut évoluer sans sauts. Lorsque le réseau est entraîné par rétropropagation de l'erreur, la division met automatiquement à l'échelle les pas d'apprentissage : dans les zones fortement actives, la mise à jour des paramètres s'atténue. Cela compresse le rang effectif du réseau — la dynamique se resserre d'elle-même dans un canal étroit de faible dimension, évitant le sur-apprentissage et le chaos.
Dans des expériences sur des tâches de mémoire de travail, RDNN a retenu des signaux continus avec une précision des dizaines de fois supérieure à celle des réseaux classiques. Et lorsque la division a été remplacée par la soustraction, le réseau s'est immédiatement mis à fragmenter le signal continu en paliers. Il semble que la biologie n'ait pas choisi ce mécanisme par hasard — la division s'est avérée mathématiquement nécessaire pour stocker des grandeurs continues dans un monde changeant.
La division des signaux dans les neurones a été décrite pour la première fois dans le cortex visuel : ainsi, le cerveau n'est pas ébloui par une lumière vive, il réduit simplement sa sensibilité — il divise, et non soustrait.