لماذا تشبه الشبكات العصبية الثقوب السوداء: درس النماذج «الصلعاء» ⚡ экспресс
استخدم الباحثون مقاربة من فيزياء الكم لفهم نجاح LoRA — الطريقة الشائعة لضبط النماذج اللغوية الكبيرة مع تحديثات ذات رتبة منخفضة. مَثَّلوا معاملات الشبكة على شكل جداءات مصفوفات الحالة، مما أتاح قياس «التشابك الاصطناعي» (نظير الإنتروبيا الكمومية). وُجد أنه في الطبقات الداخلية لتحديثات LoRA، تتبع الإنتروبيا قانون الحجم مع انخفاض مميز — «وادي التشابك»، وفي طبقات الانتباه بين الرموز تتبع قانون المساحة مع تصحيحات لوغاريتمية. تشابه مذهل مع نظرية انعدام الشعر للثقوب السوداء: الاختلافات في البنية الداخلية لا تظهر في المخرجات، مما يفسر فعالية التكيف ذي الرتبة المنخفضة.
ضبط الشبكة العصبية يشبه محاولة تغيير ثقب أسود دون لمس أفق الحدث الخاص به: لا نغير سوى جزء صغير من المعاملات. ألقى الباحثون نظرة إلى الداخل فرأوا أنماطًا مذهلة - روابط قوية بين أجزاء النموذج، تشبه التشابك في فيزياء الكم. وبقياس الإنتروبيا (مقياس الفوضى)، اكتشفوا «وادي التشابك» - هبوط حاد في الانتظام يعتمد على طريقة التدريب.
عمليًا، هذا يعني: لا يهم ما هي الأنماط الداخلية، المهم هو السلوك الخارجي. لذلك يمكن تطوير طرق خفيفة لتكييف الذكاء الاصطناعي دون الخوض في التفاصيل.
🎯 نظرية «انعدام الشعر»: لا يوصف الثقب الأسود إلا بكتلته وشحنته ودورانه. كل ما سواه من معلومات عن المادة المبتلعة يُمحى.