L'apprentissage d'un réseau de neurones ressemble à une descente en luge : il faut la bonne vitesse pour ne pas rester coincé ni sortir de la piste. Dans la méthode populaire d'apprentissage avec moment (comme l'inertie), on prend généralement une valeur constante de 0,9. Les auteurs de l'article ont revisité la physique des oscillations amorties et proposé de faire varier le moment au cours de l'apprentissage : d'abord grand, il diminue ensuite selon une formule où le moment est égal à un moins deux fois la racine carrée du taux d'apprentissage.

Ils ont testé sur une tâche standard : le réseau ResNet-18 apprend à reconnaître des images de l'ensemble CIFAR-10. Avec le nouveau calendrier de moment, le modèle atteint 90 % de précision 2,34 fois plus vite qu'avec un moment constant de 0,9. Cependant, la précision finale est légèrement inférieure — de 0,46 point de pourcentage. Ils ont alors appliqué une approche hybride : d'abord l'amortissement critique jusqu'à 90 %, puis passage à un moment constant. Cela élimine la perte de précision et conserve l'accélération : la précision finale est de 95,45 %, et le modèle atteint 90 % 2,4 fois plus vite.

Dans la deuxième partie de l'article, les auteurs ont testé l'idée de choisir les couches à affiner en fonction des gradients d'erreur. Il s'avère que le choix par gradients n'est pas meilleur que le hasard. Mais il y a un signal utile : si une couche a le gradient le plus faible, il ne faut surtout pas la toucher — y intervenir peut être très nuisible. Ainsi, les gradients aident à éviter les mauvaises décisions, pas à trouver les bonnes.