Une mesure de la vitesse à laquelle l'erreur d'un modèle diminue au fil du temps pendant l'entraînement.Le taux d'apprentissage est un hyperparamètre en apprentissage automatique qui contrôle la taille du pas lors de la mise à jour des paramètres d'un modèle pendant l'entraînement. Il détermine la vitesse à laquelle l'erreur (perte) du modèle diminue au fil des itérations sur les données. Un taux d'apprentissage élevé fait apprendre le modèle rapidement mais risque de dépasser la solution optimale ; un taux faible rend l'apprentissage lent mais plus stable. Le taux d'apprentissage est l'un des réglages les plus critiques dans l'entraînement des réseaux de neurones, car il influence directement la convergence et la performance finale.
Le concept de taux d'apprentissage est apparu avec le développement de l'optimisation par gradient dans les années 1950 et 1960, notamment dans le cadre de l'apprentissage du perceptron et des premiers réseaux de neurones. Il est devenu un terme standard dans les années 1980 avec la rétropropagation.
Pendant l'entraînement, le modèle calcule le gradient de la fonction de perte par rapport à ses paramètres. Les paramètres sont ensuite mis à jour en soustrayant le gradient multiplié par le taux d'apprentissage. C'est la règle standard de descente de gradient. Le taux d'apprentissage ajuste l'ampleur du pas : une valeur plus grande signifie des sauts plus importants dans l'espace des paramètres, tandis qu'une valeur plus petite permet des ajustements plus fins. Les optimiseurs modernes comme Adam ajustent de manière adaptative le taux d'apprentissage pour chaque paramètre, mais le taux de base doit toujours être défini par le praticien.
La planification du taux d'apprentissage — c'est-à-dire son ajustement au cours de l'entraînement — est utilisée dans pratiquement toutes les applications d'apprentissage profond, de la reconnaissance d'images au traitement du langage naturel, pour améliorer la convergence et éviter les minima locaux.
Un taux d'apprentissage trop élevé peut faire diverger la perte vers l'infini, tandis qu'un taux trop faible peut faire stagner l'apprentissage sur un palier, rendant la durée d'entraînement impraticablement longue.
| \theta_k | variable | Parameter vector at iteration k — parameter vector |
| \theta_{k+1} | variable | Updated parameter vector at iteration k+1 — parameter vector |
| \alpha_k | variable | Learning rate (step size) at iteration k — taux d'apprentissage |
| f(\theta_k) | variable | Objective function evaluated at \theta_k — objective function |
| \nabla_\theta | opérateur | Computes the vector of partial derivatives with respect to each parameter — gradient operator |
| J_{k\alpha} | variable | parameter being updated at iteration — paramètre |
| \tau_\mu | variable | iteration step index — iteration index |
| \eta | variable | learning rate, step size — taux d'apprentissage |
| \epsilon | variable | error or loss function — loss function |
| \frac{\partial}{\par | opérateur | computes the gradient of the error with respect to the parameter — dérivée partielle |










