كيف تتعلم الشبكة العصبية سماع الفوضى وسط الضجيج ✛
مترجم في قاعة صاخبة يحاول سماع الكلام وسط ضجيج الأصوات. الطريقة المعتادة هي حفظ مجموعة من العبارات وتوظيفها وفق قالب جاهز. لكن إذا اشتد الضجيج، ينهار القالب. الانحدار الذاتي المتجهي اللاخطي التكيفي يعمل بشكل مختلف: فهو يتعلم فهم معنى الكلام، متخلصاً من التشويش.
في النموذج الجديد، تولد شبكة عصبية قابلة للتعلم الميزات اللاخطية. تستقبل عدة قيم متتالية من السلسلة وتحولها إلى ميزات مفيدة. ثم تُدمج هذه الميزات مع القيم الأصلية وتُمرر إلى طبقة خطية. يُدرَّب كل ذلك معاً، دون الحاجة إلى معالجة مصفوفات كبيرة. على نظام لورنز-96 بمئة متغير، كانت النماذج القياسية تحتاج إلى حوالي 0.8 تيرابايت من الذاكرة، بينما اكتفت النسخة التكيفية بعشرات الميغابايت.
التجارب على ثلاثة أنظمة فوضوية أظهرت أن النموذج التكيفي أدق من النموذج القياسي، خاصة مع ضوضاء تصل إلى 30%. على نظام ماكاي-غلاس، بلغ خطأ التنبؤ لـ 100 خطوة 0.051 مقابل 0.073 للنموذج القياسي. على النظام المئوي، فقط النسخة التكيفية استطاعت إكمال التدريب. المترجم الذي يتعلم فهم المعنى، بدلاً من حفظ العبارات، لا يخلط بينه الضجيج.
لتخزين مصفوفة الميزات للانحدار الذاتي المتجهي اللاخطي القياسي على نظام لورنز-96، كان يلزم حوالي 0.8 تيرابايت من الذاكرة، أي ما يعادل حوالي 200 فيلم طويل بجودة عالية. أما النسخة التكيفية فاكتفت بعشرات الميغابايت فقط.
فكرة اللاخطية القابلة للتعلم للتنبؤ بالفوضى تذكرنا برواية «الأسس» لإسحاق أسيموف: هناك، تنبأت النفس-تاريخ بمستقبل جماهير كبيرة من الناس، معتمدة على القوانين الإحصائية. هنا، يتعلم النموذج قوانين الفوضى من البيانات، وهو ما يشبه من بعيد محاولة هاري سيلدون لصياغة ما لا يمكن التنبؤ به.