Recurrent neural networks are neural architectures designed for sequential data processing, applied in particle energy measurement, molecular dynamics, and memory consolidation studies.La baguette du chef d'orchestre s'immobilise dans l'air — le musicien attend, en se souvenant du motif précédent. Le réseau récurrent parcourt les jetons de la séquence (caractères ou mots) et après chacun met à jour l'état caché (vecteur de nombres). Cet état est une description compressée de tout ce qui a été vu jusqu'à présent. Grâce à la boucle de rétroaction, le réseau est capable de saisir les dépendances entre des éléments éloignés : par exemple, l'accord du cas dans une longue phrase allemande.
Les fondements remontent aux travaux de John Hopfield (1982) et aux réseaux avec rétroaction. En 1986, David Rumelhart et al. ont appliqué la rétropropagation aux RNN. L'application pratique a été freinée par le problème de l'évanouissement/explosion des gradients. En 1997, Sepp Hochreiter et Jürgen Schmidhuber ont proposé le LSTM (longue mémoire à court terme) avec des éléments de contrôle — les portes, résolvant le problème des dépendances à long terme. En 2014, Kyunghyun Cho et al. ont présenté le GRU. Depuis le milieu des années 2010, les RNN sont progressivement remplacés par les transformeurs, mais restent importants dans les tâches en flux continu.
À l'étape t, le RNN reçoit le vecteur d'entrée x_t et l'état caché précédent h_{t-1}, puis calcule le nouvel état : h_t = \tanh(W_x x_t + W_h h_{t-1} + b). Le vecteur h_t est envoyé à la couche de sortie pour prédire y_t et transmis à l'étape suivante. Les paramètres W_x, W_h, b sont communs à toutes les étapes, ce qui permet la généralisation sur des séquences de différentes longueurs. L'entraînement est effectué en déroulant le réseau dans le temps (backpropagation through time). Le LSTM ajoute une cellule mémoire c_t et trois portes : d'oubli, d'entrée et de sortie, qui régulent le flux d'informations.
Saisie automatique de texte sur le téléphone, traduction automatique, lecture de longues phrases par une enceinte connectée.
Les réseaux LSTM, créés en 1997, sont restés pendant près de 20 ans l'outil principal de la traduction automatique, jusqu'à ce qu'ils soient supplantés par les transformeurs — mais ils sont encore utilisés dans des millions de smartphones pour la saisie automatique de texte.













