كيف نتنبأ بالفوضى وسط الضجيج؟ ✛
مترجم في قاعة صاخبة يحاول أن يلتقط الكلام وسط ضجيج الأصوات. الطريقة المعتادة هي حفظ مجموعة من العبارات وتوظيفها وفق قالب جاهز. لكن إذا اشتد الضجيج، ينهار القالب. الانحدار الذاتي المتجهي اللاخطي التكيفي يعمل بشكل مختلف: فهو يتعلم فهم معنى الكلام، متجاوزًا التشويش.
في النموذج الجديد، تُولَّد الميزات اللاخطية بواسطة شبكة عصبية متعددة الطبقات قابلة للتدريب (perceptron). المدخل هو تضمين مؤجل: عدة قيم متتالية من السلسلة، مزاحة في الزمن. تحوّل الشبكة العصبية هذا المتجه إلى ميزات، تُدمج بعد ذلك مع الميزات الخطية وتُمرَّر إلى طبقة القراءة. مصفوفة القراءة تُدرَّب بالتزامن مع الشبكة عبر الانحدار التدرجي، وليس عبر حساب معكوس المصفوفة. هذا يتيح تجنب عنق الزجاجة في الطريقة التقليدية.
التجارب على ثلاثة أنظمة فوضوية، وهي ماكاي-غلاس ولورينز-63 ولورينز-96، أظهرت تفوق النهج التكيفي. مع ضوضاء بنسبة 30% على نظام ماكاي-غلاس، بلغ خطأ التنبؤ عبر 100 خطوة 0.051 مقابل 0.073 للنموذج القياسي. على لورينز-96، فقط النسخة التكيفية استطاعت إكمال التدريب والتنبؤ: الطريقة القياسية اصطدمت بحد الذاكرة، بينما اصطدمت الشبكات الصدوية (echo state networks) بحد الوقت الحسابي. اللاخطية القابلة للتدريب أظهرت ثباتية أكبر من كثيرات الحدود الثابتة.
المترجم الذي يتعلم فهم المعنى، بدل حفظ العبارات، يتغلب على الضجيج. وكذلك النموذج الذي يولّد الميزات من البيانات، لا وفق قالب جاهز، يتنبأ بالفوضى بدقة أكبر. هذه خطوة من البناء اليدوي للميزات نحو الاستخراج التلقائي للأنماط، وهو أمر قيّم خاصة عندما تكون فيزياء العملية معروفة بشكل تقريبي فقط.
لتخزين مصفوفة الميزات في NVAR القياسية على نظام لورينز-96، كان يلزم حوالي 0.8 تيرابايت من الذاكرة، أي ما يعادل نحو 200 فيلم طويل بجودة عالية. أما النسخة التكيفية فاكتفت بعشرات الميغابايتات فقط.
فكرة اللاخطية القابلة للتدريب للتنبؤ بالفوضى تذكّرنا بـ"المؤسسة" لإسحاق أسيموف: هناك، تنبأت "السيكوتاريخ" بمستقبل جماهير بشرية كبيرة بالاعتماد على أنماط إحصائية. هنا، يتعلم النموذج قوانين الفوضى من البيانات، وهو ما يشبه من بعيد محاولة هاري سيلدون لإضفاء الطابع الرسمي على ما لا يمكن التنبؤ به.