Обучение нейросети похоже на спуск с горы на санках: нужна правильная скорость, чтобы не застрять и не вылететь с трассы. В популярном методе обучения с моментом (как инерция) обычно берут постоянное значение 0,9. Авторы статьи вспомнили физику затухающих колебаний и предложили менять момент по ходу обучения: сначала он большой, потом уменьшается по формуле, где момент равен единице минус два корня из скорости обучения.

Проверили на стандартной задаче: нейросеть ResNet-18 учится распознавать картинки из набора CIFAR-10. С новым расписанием момента модель достигает 90% точности в 2,34 раза быстрее, чем с постоянным 0,9. Однако итоговая точность чуть ниже — на 0,46 процентного пункта. Тогда применили гибрид: сначала критическое затухание до 90%, затем переключение на постоянный момент. Это убирает потерю точности и сохраняет ускорение: итоговая точность 95,45%, а к 90% модель приходит в 2,4 раза быстрее.

Во второй части статьи авторы проверяли идею выбора слоёв для дообучения по градиентам на ошибках. Оказалось, что выбор по градиентам не лучше случайного. Но есть полезный сигнал: если слой имеет самый низкий градиент, его точно не стоит трогать — вмешательство в него может сильно навредить. Так что градиенты помогают избегать плохих решений, а не находить хорошие.