تعلّم الشبكة العصبية يشبه النزول من جبل على زلاجة: تحتاج إلى السرعة الصحيحة حتى لا تعلق ولا تخرج عن المسار. في الطريقة الشائعة للتعلّم بالزخم (مثل القصور الذاتي) عادةً ما تُستخدم قيمة ثابتة مقدارها 0.9. تذكّر مؤلفو المقال فيزياء التذبذبات المخمدة واقترحوا تغيير الزخم أثناء التعلّم: في البداية يكون كبيرًا، ثم يتناقص وفق معادلة حيث يساوي الزخم واحدًا ناقص جذرين لمعدل التعلّم.

اختُبر ذلك على مهمة قياسية: الشبكة العصبية ResNet-18 تتعلّم تمييز الصور من مجموعة CIFAR-10. مع الجدول الجديد للزخم، يصل النموذج إلى دقة 90% أسرع بمقدار 2.34 مرة مقارنةً بالقيمة الثابتة 0.9. ومع ذلك، تكون الدقة النهائية أقل قليلًا — بمقدار 0.46 نقطة مئوية. ثم طُبّق النهج الهجين: تخميد حرج أولًا حتى 90%، ثم التحول إلى زخم ثابت. هذا يزيل فقدان الدقة ويحافظ على التسارع: الدقة النهائية 95.45%، والوصول إلى 90% يحدث أسرع بمقدار 2.4 مرة.

في الجزء الثاني من المقال، اختبر المؤلفون فكرة اختيار الطبقات لإعادة التدريب بناءً على تدرجات الأخطاء. تبيّن أن الاختيار بناءً على التدرجات ليس أفضل من الاختيار العشوائي. لكن هناك إشارة مفيدة: إذا كانت الطبقة ذات تدرج منخفض جدًا، فمن الأكيد عدم لمسها — فالتدخل فيها قد يضر كثيرًا. لذا تساعد التدرجات في تجنّب القرارات السيئة، وليس في إيجاد القرارات الجيدة.