Обучение нейросети похоже на спуск с горы на санках: нужна правильная скорость, чтобы не застрять и не вылететь с трассы. В популярном методе обучения с моментом (как инерция) обычно берут постоянное значение 0,9. Авторы статьи вспомнили физику затухающих колебаний и предложили менять момент по ходу обучения: сначала он большой, потом уменьшается по формуле, где момент равен единице минус два корня из скорости обучения.
Проверили на стандартной задаче: нейросеть ResNet-18 учится распознавать картинки из набора CIFAR-10. С новым расписанием момента модель достигает 90% точности в 2,34 раза быстрее, чем с постоянным 0,9. Однако итоговая точность чуть ниже — на 0,46 процентного пункта. Тогда применили гибрид: сначала критическое затухание до 90%, затем переключение на постоянный момент. Это убирает потерю точности и сохраняет ускорение: итоговая точность 95,45%, а к 90% модель приходит в 2,4 раза быстрее.
Во второй части статьи авторы проверяли идею выбора слоёв для дообучения по градиентам на ошибках. Оказалось, что выбор по градиентам не лучше случайного. Но есть полезный сигнал: если слой имеет самый низкий градиент, его точно не стоит трогать — вмешательство в него может сильно навредить. Так что градиенты помогают избегать плохих решений, а не находить хорошие.
как её написали авторы, на английском arXiv:2603.28921
The critical damping condition of the damped harmonic oscillator model of SGD with momentum (Qian, 1999) yields a momentum schedule with no tuned hyperparameters: mu(t) = 1 - 2*sqrt(alpha(t)). Across five seeds on ResNet-18/CIFAR-10 (200-epoch cosine schedule) it reaches 90% test accuracy 2.34x faster than constant mu=0.9 (range 1.71-2.86x, 5/5 seeds, one-sided paired t-test p=4e-4), at the cost of a real final-accuracy deficit of 0.46 pp (5/5 seeds, p=0.009). A short-schedule control rules out a schedule-length artifact: compressed baselines either pay 0.5-0.9 pp of accuracy or stay slower to 90% at equal accuracy. A hybrid recipe -- critical-damping momentum until 90%, then constant mu=0.9 -- removes the deficit and keeps the speedup: 95.45 +/- 0.05% final accuracy at 2.4x faster progress to 90% (n=5). The speedup generalizes across architectures (VGG-16 without skip connections: 1.72x, n=3); on CIFAR-100 early gains persist (2-4x to mid-training thresholds) but the accuracy cost grows (-1.7 pp), compressing the accuracy-matched gain to 1.14x. We also report an exhaustive negative result on surgical layer selection. Version 2 of this paper claimed that gradient attribution on misclassified images selects which layers to retrain; running the identical correction protocol on all 35 combinations of 3-of-7 layer groups ranks the selected triple 11th of 35 (exact p=0.31) -- no better than random. What survives is weaker but real: combinations containing the top-ranked layer outperform the rest (+6.2 vs -1.4 mean net error reduction), and the bottom of the gradient-norm ranking reliably predicts the most harmful interventions (down to -20 net errors). Gradient attribution on errors is a harm-avoidance signal, not a selector of repair targets. We release the full 35-combination landscape as a baseline for layer-selection claims.
Момент в оптимизаторе назван по аналогии с физическим моментом инерции: он помогает преодолевать локальные минимумы, как санки проезжают небольшие бугры за счёт набранной скорости.