لماذا تشبه الشبكات العصبية الثقوب السوداء: درس النماذج «الصلعاء» سريع
اكتشف العلماء لماذا تعمل طريقة LoRA — ذلك الأسلوب الأنيق لتدريب النماذج اللغوية الكبيرة عبر تغيير جزء صغير فقط من المعاملات — بهذه الفعالية. لقد تأملوا «التشابكات» الداخلية (الشبيهة بالكمومية) ووجدوا «وادي تشابك» غامضًا. لكن، وكما يخفي الثقب الأسود أسراره، تظل المظاهر الخارجية للنموذج بسيطة — وفي ذلك يكمن سر الفعالية.
ضبط الشبكة العصبية يشبه محاولة تغيير ثقب أسود دون لمس أفق الحدث الخاص به: لا نغير سوى جزء صغير من المعاملات. ألقى الباحثون نظرة إلى الداخل فرأوا أنماطًا مذهلة - روابط قوية بين أجزاء النموذج، تشبه التشابك في فيزياء الكم. وبقياس الإنتروبيا (مقياس الفوضى)، اكتشفوا «وادي التشابك» - هبوط حاد في الانتظام يعتمد على طريقة التدريب.
عمليًا، هذا يعني: لا يهم ما هي الأنماط الداخلية، المهم هو السلوك الخارجي. لذلك يمكن تطوير طرق خفيفة لتكييف الذكاء الاصطناعي دون الخوض في التفاصيل.
🎯 نظرية «انعدام الشعر»: لا يوصف الثقب الأسود إلا بكتلته وشحنته ودورانه. كل ما سواه من معلومات عن المادة المبتلعة يُمحى.