Organisation structurelle et géométrique de la mémoire et du stockage de l'information dans les réseaux de neurones.L'architecture mémoire des réseaux de neurones désigne l'organisation structurelle et géométrique de la manière dont l'information est stockée et récupérée au sein des réseaux de neurones artificiels. Contrairement à la mémoire informatique traditionnelle, qui sépare le stockage et le traitement, les réseaux de neurones intègrent les souvenirs directement dans leurs poids de connexion et leurs schémas d'activation. L'architecture détermine la quantité d'informations pouvant être stockée, la rapidité d'accès à celles-ci, et sa résistance aux interférences ou à l'oubli.
Le concept de mémoire distribuée dans les réseaux de neurones a été formalisé par David Rumelhart et Geoffrey Hinton dans les années 1980, en s'appuyant sur les travaux antérieurs de Teuvo Kohonen sur la mémoire associative. L'architecture à mémoire à long terme et à court terme (LSTM), introduite par Hochreiter et Schmidhuber en 1997, a résolu le problème du gradient qui s'estompe et a permis le stockage de souvenirs à plus long terme.
Dans les réseaux à propagation avant, les souvenirs sont répartis sur les poids reliant les couches, chaque poids contribuant à de nombreux souvenirs différents—une forme de mémoire adressable par contenu. Les réseaux récurrents ajoutent une dynamique temporelle, permettant à l'information de persister dans les états cachés au fil du temps. Des architectures plus récentes comme les transformeurs utilisent des mécanismes d'attention pour créer des voies de mémoire dynamiques, où le réseau peut se concentrer sélectivement sur les parties pertinentes de la séquence d'entrée. L'organisation géométrique de ces représentations dans un espace de haute dimension est cruciale : les concepts similaires se regroupent, et la capacité du réseau à séparer des souvenirs distincts dépend de la dimensionnalité et de la topologie de cet espace.
Les architectures mémoire sont essentielles pour les applications nécessitant un traitement séquentiel, telles que la reconnaissance vocale, la traduction automatique et la prédiction de séries temporelles, ainsi que pour les systèmes d'apprentissage continu qui doivent s'adapter sans oublier.
La capacité mémoire du cerveau humain est estimée à environ 2,5 pétaoctets, soit l'équivalent de 3 millions d'heures de programmes télévisés, tandis qu'un modèle transformeur de pointe avec 175 milliards de paramètres stocke environ 350 gigaoctets d'informations.














