L'apprentissage d'un réseau de neurones ressemble à une descente en luge : il faut la bonne vitesse pour ne pas rester coincé ni sortir de la piste. Dans la méthode populaire d'apprentissage avec moment (comme l'inertie), on prend généralement une valeur constante de 0,9. Les auteurs de l'article ont revisité la physique des oscillations amorties et proposé de faire varier le moment au cours de l'apprentissage : d'abord grand, il diminue ensuite selon une formule où le moment est égal à un moins deux fois la racine carrée du taux d'apprentissage.
Ils ont testé sur une tâche standard : le réseau ResNet-18 apprend à reconnaître des images de l'ensemble CIFAR-10. Avec le nouveau calendrier de moment, le modèle atteint 90 % de précision 2,34 fois plus vite qu'avec un moment constant de 0,9. Cependant, la précision finale est légèrement inférieure — de 0,46 point de pourcentage. Ils ont alors appliqué une approche hybride : d'abord l'amortissement critique jusqu'à 90 %, puis passage à un moment constant. Cela élimine la perte de précision et conserve l'accélération : la précision finale est de 95,45 %, et le modèle atteint 90 % 2,4 fois plus vite.
Dans la deuxième partie de l'article, les auteurs ont testé l'idée de choisir les couches à affiner en fonction des gradients d'erreur. Il s'avère que le choix par gradients n'est pas meilleur que le hasard. Mais il y a un signal utile : si une couche a le gradient le plus faible, il ne faut surtout pas la toucher — y intervenir peut être très nuisible. Ainsi, les gradients aident à éviter les mauvaises décisions, pas à trouver les bonnes.
tel que rédigé par les auteurs, en anglais arXiv:2603.28921
The critical damping condition of the damped harmonic oscillator model of SGD with momentum (Qian, 1999) yields a momentum schedule with no tuned hyperparameters: mu(t) = 1 - 2*sqrt(alpha(t)). Across five seeds on ResNet-18/CIFAR-10 (200-epoch cosine schedule) it reaches 90% test accuracy 2.34x faster than constant mu=0.9 (range 1.71-2.86x, 5/5 seeds, one-sided paired t-test p=4e-4), at the cost of a real final-accuracy deficit of 0.46 pp (5/5 seeds, p=0.009). A short-schedule control rules out a schedule-length artifact: compressed baselines either pay 0.5-0.9 pp of accuracy or stay slower to 90% at equal accuracy. A hybrid recipe -- critical-damping momentum until 90%, then constant mu=0.9 -- removes the deficit and keeps the speedup: 95.45 +/- 0.05% final accuracy at 2.4x faster progress to 90% (n=5). The speedup generalizes across architectures (VGG-16 without skip connections: 1.72x, n=3); on CIFAR-100 early gains persist (2-4x to mid-training thresholds) but the accuracy cost grows (-1.7 pp), compressing the accuracy-matched gain to 1.14x. We also report an exhaustive negative result on surgical layer selection. Version 2 of this paper claimed that gradient attribution on misclassified images selects which layers to retrain; running the identical correction protocol on all 35 combinations of 3-of-7 layer groups ranks the selected triple 11th of 35 (exact p=0.31) -- no better than random. What survives is weaker but real: combinations containing the top-ranked layer outperform the rest (+6.2 vs -1.4 mean net error reduction), and the bottom of the gradient-norm ranking reliably predicts the most harmful interventions (down to -20 net errors). Gradient attribution on errors is a harm-avoidance signal, not a selector of repair targets. We release the full 35-combination landscape as a baseline for layer-selection claims.
Le moment dans l'optimiseur est nommé par analogie avec le moment d'inertie en physique : il aide à franchir les minima locaux, comme une luge qui passe de petites bosses grâce à la vitesse acquise.