Мера того, насколько быстро ошибка модели уменьшается со временем в процессе обучения.Скорость обучения — это гиперпараметр в машинном обучении, который управляет размером шага при обновлении параметров модели во время тренировки. Он определяет, насколько быстро уменьшается ошибка (потери) модели при итерациях по данным. Высокая скорость обучения заставляет модель учиться быстро, но существует риск перескочить оптимальное решение; низкая скорость обучения делает обучение медленным, но более стабильным. Скорость обучения — одна из наиболее критичных настроек при обучении нейронных сетей, так как она напрямую влияет на сходимость и итоговую производительность.
Понятие скорости обучения возникло с развитием градиентной оптимизации в 1950-х и 1960-х годах, особенно в контексте обучения перцептрона и ранних нейронных сетей. Оно стало стандартным термином в 1980-х годах с появлением метода обратного распространения ошибки.
Во время обучения модель вычисляет градиент функции потерь по своим параметрам. Затем параметры обновляются вычитанием градиента, умноженного на скорость обучения. Это стандартное правило обновления градиентного спуска. Скорость обучения масштабирует градиентный шаг: большее значение означает большие прыжки в пространстве параметров, а меньшее — более тонкие корректировки. Современные оптимизаторы, такие как Adam, адаптивно регулируют скорость обучения для каждого параметра, но базовую скорость обучения всё равно задаёт специалист.
Планирование скорости обучения — регулировка скорости обучения во время тренировки — используется практически во всех приложениях глубокого обучения, от распознавания изображений до обработки естественного языка, для улучшения сходимости и избежания локальных минимумов.
Слишком высокая скорость обучения может привести к расхождению потерь до бесконечности, а слишком низкая — к застреванию на плато, что делает время обучения непрактично долгим.
| \theta_k | переменная | Вектор параметров на итерации k — parameter vector |
| \theta_{k+1} | переменная | Обновленный вектор параметров на итерации k+1 — parameter vector |
| \alpha_k | переменная | Скорость обучения (величина шага) на итерации k — скорость обучения |
| f(\theta_k) | переменная | Целевая функция, вычисленная в точке \theta_k — objective function |
| \nabla_\theta | оператор | Вычисляет вектор частных производных по каждому параметру — gradient operator |
| J_{k\alpha} | переменная | обновляемый параметр на итерации — параметр |
| \tau_\mu | переменная | индекс шага итерации — iteration index |
| \eta | переменная | скорость обучения, размер шага — скорость обучения |
| \epsilon | переменная | функция ошибки или потерь — loss function |
| \frac{\partial}{\par | оператор | вычисляет градиент ошибки по параметру — частная производная |
