لماذا تشبه الشبكات العصبية الثقوب السوداء: درس النماذج «الصلعاء» ⚡ экспресс
يدرس البحث كفاءة الضبط الدقيق ذي الكفاءة المعلمية (PEFT) للنماذج اللغوية الكبيرة، مثل LoRA، من منظور نظرية المعلومات الكمومية. تتوافق المعلمات ذات الرتبة المنخفضة مع تمثيلات صغيرة الأبعاد على شكل حالات جداء المصفوفات (MPS)، مما يسمح بتقديم مفهوم «التشابك الاصطناعي» — إنتروبيا تشابك معاملات الشبكة العصبية. يقارن البحث بين LoRA والضبط الكامل (FFT) على نماذج LLaMA (بحجم 1B و8B) المدربة على مجموعتي بيانات Tulu3 وOpenThoughts3. التشابك الاصطناعي الداخلي في تحديثات مصفوفات الاستعلام والقيمة لـ LoRA يتبع قانون الحجم مع قمع في المركز — «وادي التشابك» — وهو حساس للمعلمات الفائقة ويختلف عن FFT. التشابك الخارجي في مصفوفات الانتباه، الذي يعكس ارتباطات الرموز في فضاء التمثيلات، يتبع قانون المساحة مع تصحيحات لوغاريتمية ويكون متينًا تجاه المعلمات الفائقة وخطوات التدريب. تُعقد مقارنة مع نظرية انعدام الشعر للثقوب السوداء: على الرغم من الاختلافات في التشابك الداخلي، تبقى مخرجات الانتباه متشابهة، مما يفسر فعالية التحديثات ذات الرتبة المنخفضة.
ضبط الشبكة العصبية يشبه محاولة تغيير ثقب أسود دون لمس أفق الحدث الخاص به: لا نغير سوى جزء صغير من المعاملات. ألقى الباحثون نظرة إلى الداخل فرأوا أنماطًا مذهلة - روابط قوية بين أجزاء النموذج، تشبه التشابك في فيزياء الكم. وبقياس الإنتروبيا (مقياس الفوضى)، اكتشفوا «وادي التشابك» - هبوط حاد في الانتظام يعتمد على طريقة التدريب.
عمليًا، هذا يعني: لا يهم ما هي الأنماط الداخلية، المهم هو السلوك الخارجي. لذلك يمكن تطوير طرق خفيفة لتكييف الذكاء الاصطناعي دون الخوض في التفاصيل.
🎯 نظرية «انعدام الشعر»: لا يوصف الثقب الأسود إلا بكتلته وشحنته ودورانه. كل ما سواه من معلومات عن المادة المبتلعة يُمحى.