Entrenar una red neuronal es como bajar una montaña en trineo: necesitas la velocidad adecuada para no quedarte atascado ni salirte de la pista. En el popular método de entrenamiento con momento (como la inercia), normalmente se usa un valor constante de 0,9. Los autores del artículo recordaron la física de las oscilaciones amortiguadas y propusieron cambiar el momento durante el entrenamiento: primero es grande, luego disminuye según una fórmula donde el momento es igual a uno menos dos veces la raíz cuadrada de la tasa de aprendizaje.
Se probó en una tarea estándar: la red neuronal ResNet-18 aprende a reconocer imágenes del conjunto CIFAR-10. Con el nuevo programa de momento, el modelo alcanza el 90% de precisión 2,34 veces más rápido que con el constante de 0,9. Sin embargo, la precisión final es ligeramente menor: 0,46 puntos porcentuales menos. Entonces se aplicó un enfoque híbrido: primero amortiguamiento crítico hasta el 90%, luego cambio a momento constante. Esto elimina la pérdida de precisión y mantiene la aceleración: la precisión final es 95,45%, y al 90% el modelo llega 2,4 veces más rápido.
En la segunda parte del artículo, los autores probaron la idea de seleccionar capas para el ajuste fino según los gradientes de error. Resultó que la selección por gradientes no es mejor que la aleatoria. Pero hay una señal útil: si una capa tiene el gradiente más bajo, definitivamente no vale la pena tocarla — intervenir en ella puede causar mucho daño. Así que los gradientes ayudan a evitar malas decisiones, no a encontrar las buenas.
El momento en el optimizador se llama así por analogía con el momento de inercia físico: ayuda a superar los mínimos locales, como un trineo que pasa sobre pequeños baches gracias a la velocidad acumulada.