Recurrent neural networks are neural architectures designed for sequential data processing, applied in particle energy measurement, molecular dynamics, and memory consolidation studies.تتجمد عصا قائد الأوركسترا في الهواء — ينتظر العازف متذكرًا اللحن السابق. تقوم الشبكة المتكررة بتمرير وحدات التسلسل (رموز أو كلمات) وتُحدّث بعد كل منها الحالة المخفية (متجه من الأعداد). هذه الحالة هي وصف مكثف لكل ما شوهد حتى الآن. بفضل حلقة التغذية الراجعة، تتمكن الشبكة من التقاط التبعيات بين العناصر المتباعدة: مثل توافق الحالة الإعرابية في جملة ألمانية طويلة.
تعود الأسس إلى أعمال جون هوبفيلد (1982) والشبكات ذات التغذية الراجعة. في عام 1986، طبق ديفيد روميلهارت وآخرون الانتشار العكسي على RNN. وقد أعاق التطبيق العملي مشكلة تلاشي/انفجار التدرجات. في عام 1997، اقترح سيب هوخرايتر ويورغن شميدهوبر LSTM (الذاكرة الطويلة قصيرة المدى) ذات العناصر المتحكم بها — البوابات — التي تحل مشكلة التبعية طويلة المدى. في عام 2014، قدم كيونغهيون تشو وآخرون GRU. ومنذ منتصف العقد 2010، حلت المحولات (Transformers) محل RNN تدريجيًا، لكنها تظل مهمة في المهام التدفقية.
في الخطوة t، تستقبل RNN متجه الدخل x_t والحالة المخفية السابقة h_{t-1}، وتحسب الحالة الجديدة: h_t = \tanh(W_x x_t + W_h h_{t-1} + b). يُمرر المتجه h_t إلى طبقة الخرج للتنبؤ بـ y_t ويُرسل إلى الخطوة التالية. المعاملات W_x و W_h و b مشتركة بين جميع الخطوات، مما يضمن التعميم على متتاليات مختلفة الأطوال. يتم التدريب بفرد الشبكة عبر الزمن (الانتشار العكسي عبر الزمن). تضيف LSTM خلية ذاكرة c_t وثلاث بوابات: بوابة النسيان، وبوابة الدخل، وبوابة الخرج، وهي التي تنظم تدفق المعلومات.
الإكمال التلقائي للنص في الهاتف، الترجمة الآلية، قراءة العبارات الطويلة بواسطة مكبر الصوت الذكي.
ظلت شبكات LSTM (ذاكرة طويلة قصيرة المدى)، التي أنشئت عام 1997، الأداة الرئيسية للترجمة الآلية لمدة تقارب 20 عامًا، حتى حلت محلها المحولات (Transformers) — لكنها لا تزال تُستخدم في ملايين الهواتف الذكية لإكمال النص تلقائيًا.













