Recurrent neural networks are neural architectures designed for sequential data processing, applied in particle energy measurement, molecular dynamics, and memory consolidation studies.La batuta del director se detiene en el aire: el músico espera, recordando el motivo anterior. Una red recurrente recorre los tokens de la secuencia (caracteres o palabras) y después de cada uno actualiza el estado oculto (un vector de números). Este estado es una descripción comprimida de todo lo visto hasta el momento. Gracias al bucle de retroalimentación, la red puede capturar dependencias entre elementos muy separados, por ejemplo, la concordancia de caso en una larga oración alemana.
Los fundamentos se remontan a los trabajos de John Hopfield (1982) y a las redes con retroalimentación. En 1986, David Rumelhart et al. aplicaron la retropropagación a las RNN. La aplicación práctica se veía limitada por el problema de gradientes que se desvanecen/explotan. En 1997, Sepp Hochreiter y Jürgen Schmidhuber propusieron la LSTM (memoria a largo corto plazo) con elementos controlados —compuertas—, resolviendo el problema de la dependencia a largo plazo. En 2014, Kyunghyun Cho et al. presentaron la GRU. Desde mediados de la década de 2010, las RNN están siendo desplazadas gradualmente por los transformers, pero siguen siendo importantes en tareas de flujo continuo.
En el paso t, la RNN recibe el vector de entrada x_t y el estado oculto anterior h_{t-1}, y calcula un nuevo estado: h_t = \tanh(W_x x_t + W_h h_{t-1} + b). El vector h_t se pasa a la capa de salida para predecir y_t y se transmite al siguiente paso. Los parámetros W_x, W_h y b son comunes a todos los pasos, lo que permite generalizar a secuencias de diferente longitud. El entrenamiento se realiza mediante el despliegue de la red en el tiempo (retropropagación a través del tiempo). La LSTM añade una celda de memoria c_t y tres compuertas: de olvido, de entrada y de salida, que regulan el flujo de información.
Autocompletado de texto en el teléfono, traducción automática, lectura de frases largas por altavoces inteligentes.
Las redes LSTM, creadas en 1997, fueron la herramienta principal para la traducción automática durante casi 20 años, hasta que fueron desplazadas por los transformers, pero todavía se usan en millones de teléfonos inteligentes para el autocompletado de texto.













