📄 معروضة نسخة «بسيط» — «متقدم» غير جاهزة بعد. أضفه إلى المفضّلة للمساعدة في تسريعها. اطلب التحليل الكامل

يمكن تشبيه الشبكة العصبية بسكن جامعي، حيث يحصل كل قاطن على غرفته الخاصة. عادةً، تشغل كل علامة في البيانات خلية عصبية منفصلة، ويتم التعلّم بالتتابع: أولاً علامة، ثم أخرى. هذا بطيء ويعتمد على البيانات المتاحة.

لكن إذا سمحنا لعدة علامات بالسكن في غرفة واحدة — أي تداخلها فوق بعضها — يتغيّر المشهد. بنى العلماء نموذجًا بسيطًا «معلّم-تلميذ» واستخرجوا معادلات للتعلّم دون تداخل. تبيّن أن الأس في قانون التعلّم (أي مدى سرعة انخفاض الخطأ مع الزمن) يعتمد على إحصاءات البيانات وأهمية القنوات.

أما عندما يظهر «عنق زجاجة» للتداخل في النموذج، يحدث انتقال إلى قانون شامل: ينخفض الخطأ كواحد مقسومًا على الزمن. هذا لا يعتمد على البيانات ولا على أهمية القنوات. يتسارع التعلّم حتى عشر مرات مقارنة بالتتابع المتسلسل للعلامات.

هذه الوتيرة السريعة ذات الأس الشامل قد تفسّر لماذا تتعلّم النماذج اللغوية الكبيرة، التي تستخدم تداخل العلامات بكثرة، بكفاءة عالية. ربما يكون تداخل العلامات هو ما يسمح لها بالتقاط أنماط اللغة بسرعة دون التورط في التفاصيل.

الملخص الأصلي

كما كتبه المؤلفون، بالإنجليزية arXiv:2602.01045

We investigate the role of feature superposition in the emergence of power-law training dynamics using a teacher-student framework. We first derive an analytic theory for training without superposition, establishing that the power-law training exponent depends on both the input data statistics and channel importance. Remarkably, we discover that a superposition bottleneck induces a transition to a universal power-law exponent of $$\sim 1$$, independent of data and channel statistics. This one over time training with superposition represents an up to tenfold acceleration compared to the purely sequential learning that takes place in the absence of superposition. Our finding that superposition leads to rapid training with a data-independent power law exponent may have important implications for a wide range of neural networks that employ superposition, including production-scale large language models.