شبكة عصبية كبيرة مثل Whisper تتقن مئات اللغات وتشبه النموذج المعياري للكون: كل شيء متوازن. لكن تدريبها على لغة نادرة يخل بالتوازن – تتحول اللغة إلى ثقب أسود يجذب كل موارد التدريب. تبدأ الشبكة في نسيان باقي اللغات.
طريقة الإسقاط التدريجي الموحد (UGP) تمنع الاختلال. تعمل كـ مجال جاذبية يوزع 'الانتباه' بالتساوي بين اللغات. لا تنحرف التدرجات – اتجاهات ضبط الشبكة – لصالح لغة واحدة، ويبقى انحناء الزمكان للمعرفة متجانسًا. إنتروبيا النسيان – مقياس الفوضى – تسعى إلى الصفر.
من المدهش أن الدماغ البشري يحل مهمة مماثلة أثناء النوم: فبمعالجة تجارب اليوم، يعزز جميع الذكريات بالتساوي كي لا يضيع شيء. تفعل UGP للشبكات العصبية ما يفعله النوم للبشر.
كما كتبه المؤلفون، بالإنجليزية arXiv:2607.11163
Large-scale pretrained ASR models such as Whisper exhibit strong multilingual capabilities. However, fine-tuning on low-resource languages often causes catastrophic forgetting. Although continual learning mitigates this issue, existing methods struggle to regulate cross-task interference in multilingual settings, where dominant languages bias optimization. We propose Unified Gradient Projection (UGP), which constrains parameter updates using reference gradients from language-balanced replay in a unified projection space. By equalizing per-language contributions in the projection, UGP reduces dominant-language bias and improves cross-lingual stability. We further show that combining gradient-level projection with data-level replay yields complementary gains in stability and plasticity. Across diverse low-resource language groups and model scales, UGP enables effective adaptation while substantially mitigating forgetting. On Whisper-large-v3, it achieves near-zero average forgetting.
يمكن للدماغ البشري عند تعلم لغة جديدة أن 'يوقف' اللغة القديمة مؤقتًا – وهذا يُعرف بالتداخل اللغوي. تعاني الشبكات العصبية من تأثير مشابه، لكنها على عكسنا، تنسى إلى الأبد بدون طرق خاصة.
المساعد المثالي C-3PO من 'حرب النجوم' يعرف ملايين اللغات ولا يخلط بينها أبدًا – ربما يكون مزودًا بنظام مماثل لـ UGP.