تعلّم الشبكة العصبية يشبه النزول من جبل على زلاجة: تحتاج إلى السرعة الصحيحة حتى لا تعلق ولا تخرج عن المسار. في الطريقة الشائعة للتعلّم بالزخم (مثل القصور الذاتي) عادةً ما تُستخدم قيمة ثابتة مقدارها 0.9. تذكّر مؤلفو المقال فيزياء التذبذبات المخمدة واقترحوا تغيير الزخم أثناء التعلّم: في البداية يكون كبيرًا، ثم يتناقص وفق معادلة حيث يساوي الزخم واحدًا ناقص جذرين لمعدل التعلّم.
اختُبر ذلك على مهمة قياسية: الشبكة العصبية ResNet-18 تتعلّم تمييز الصور من مجموعة CIFAR-10. مع الجدول الجديد للزخم، يصل النموذج إلى دقة 90% أسرع بمقدار 2.34 مرة مقارنةً بالقيمة الثابتة 0.9. ومع ذلك، تكون الدقة النهائية أقل قليلًا — بمقدار 0.46 نقطة مئوية. ثم طُبّق النهج الهجين: تخميد حرج أولًا حتى 90%، ثم التحول إلى زخم ثابت. هذا يزيل فقدان الدقة ويحافظ على التسارع: الدقة النهائية 95.45%، والوصول إلى 90% يحدث أسرع بمقدار 2.4 مرة.
في الجزء الثاني من المقال، اختبر المؤلفون فكرة اختيار الطبقات لإعادة التدريب بناءً على تدرجات الأخطاء. تبيّن أن الاختيار بناءً على التدرجات ليس أفضل من الاختيار العشوائي. لكن هناك إشارة مفيدة: إذا كانت الطبقة ذات تدرج منخفض جدًا، فمن الأكيد عدم لمسها — فالتدخل فيها قد يضر كثيرًا. لذا تساعد التدرجات في تجنّب القرارات السيئة، وليس في إيجاد القرارات الجيدة.
كما كتبه المؤلفون، بالإنجليزية arXiv:2603.28921
The critical damping condition of the damped harmonic oscillator model of SGD with momentum (Qian, 1999) yields a momentum schedule with no tuned hyperparameters: mu(t) = 1 - 2*sqrt(alpha(t)). Across five seeds on ResNet-18/CIFAR-10 (200-epoch cosine schedule) it reaches 90% test accuracy 2.34x faster than constant mu=0.9 (range 1.71-2.86x, 5/5 seeds, one-sided paired t-test p=4e-4), at the cost of a real final-accuracy deficit of 0.46 pp (5/5 seeds, p=0.009). A short-schedule control rules out a schedule-length artifact: compressed baselines either pay 0.5-0.9 pp of accuracy or stay slower to 90% at equal accuracy. A hybrid recipe -- critical-damping momentum until 90%, then constant mu=0.9 -- removes the deficit and keeps the speedup: 95.45 +/- 0.05% final accuracy at 2.4x faster progress to 90% (n=5). The speedup generalizes across architectures (VGG-16 without skip connections: 1.72x, n=3); on CIFAR-100 early gains persist (2-4x to mid-training thresholds) but the accuracy cost grows (-1.7 pp), compressing the accuracy-matched gain to 1.14x. We also report an exhaustive negative result on surgical layer selection. Version 2 of this paper claimed that gradient attribution on misclassified images selects which layers to retrain; running the identical correction protocol on all 35 combinations of 3-of-7 layer groups ranks the selected triple 11th of 35 (exact p=0.31) -- no better than random. What survives is weaker but real: combinations containing the top-ranked layer outperform the rest (+6.2 vs -1.4 mean net error reduction), and the bottom of the gradient-norm ranking reliably predicts the most harmful interventions (down to -20 net errors). Gradient attribution on errors is a harm-avoidance signal, not a selector of repair targets. We release the full 35-combination landscape as a baseline for layer-selection claims.
سُمّي الزخم في المحسّن تشبيهًا بالزخم الزاوي الفيزيائي: فهو يساعد على تجاوز الحدود الدنيا المحلية، كما تتجاوز الزلاجة المطبات الصغيرة بفضل السرعة المكتسبة.