Una medida de la rapidez con la que el error de un modelo disminuye con el tiempo durante el entrenamiento.La tasa de aprendizaje es un hiperparámetro en el aprendizaje automático que controla el tamaño del paso que se da al actualizar los parámetros de un modelo durante el entrenamiento. Determina la rapidez con la que disminuye el error (pérdida) del modelo a medida que itera sobre los datos. Una tasa de aprendizaje alta hace que el modelo aprenda rápido, pero corre el riesgo de sobrepasar la solución óptima; una tasa baja hace que el aprendizaje sea lento pero más estable. La tasa de aprendizaje es uno de los ajustes más críticos en el entrenamiento de redes neuronales, ya que influye directamente en la convergencia y en el rendimiento final.
El concepto de tasa de aprendizaje surgió con el desarrollo de la optimización basada en gradientes en las décadas de 1950 y 1960, particularmente en el contexto del aprendizaje del perceptrón y las primeras redes neuronales. Se convirtió en un término estándar en la década de 1980 con la retropropagación.
Durante el entrenamiento, el modelo calcula el gradiente de la función de pérdida con respecto a sus parámetros. Luego, los parámetros se actualizan restando el gradiente multiplicado por la tasa de aprendizaje. Esta es la regla estándar de actualización del descenso de gradiente. La tasa de aprendizaje escala el paso del gradiente: un valor más grande implica saltos más grandes en el espacio de parámetros, mientras que un valor más pequeño implica ajustes más finos. Los optimizadores modernos como Adam ajustan adaptativamente la tasa de aprendizaje por parámetro, pero la tasa base aún debe ser establecida por el profesional.
La programación de la tasa de aprendizaje —ajustar la tasa durante el entrenamiento— se utiliza en prácticamente todas las aplicaciones de aprendizaje profundo, desde el reconocimiento de imágenes hasta el procesamiento del lenguaje natural, para mejorar la convergencia y evitar mínimos locales.
Una tasa de aprendizaje demasiado alta puede hacer que la pérdida diverja hasta el infinito, mientras que una demasiado baja puede quedar atrapada en una meseta, haciendo que el tiempo de entrenamiento sea impracticablemente largo.
| \theta_k | variable | Parameter vector at iteration k — parameter vector |
| \theta_{k+1} | variable | Updated parameter vector at iteration k+1 — parameter vector |
| \alpha_k | variable | Learning rate (step size) at iteration k — tasa de aprendizaje |
| f(\theta_k) | variable | Objective function evaluated at \theta_k — objective function |
| \nabla_\theta | operador | Computes the vector of partial derivatives with respect to each parameter — gradient operator |
| J_{k\alpha} | variable | parameter being updated at iteration — parámetro |
| \tau_\mu | variable | iteration step index — iteration index |
| \eta | variable | learning rate, step size — tasa de aprendizaje |
| \epsilon | variable | error or loss function — loss function |
| \frac{\partial}{\par | operador | computes the gradient of the error with respect to the parameter — derivada parcial |










