Añadir un término de penalización a un ajuste para suprimir soluciones erráticas cuando los datos no determinan completamente el modelo.La regularización es una técnica utilizada para ajustar modelos a datos cuando el problema está mal planteado o es indeterminado, es decir, cuando hay demasiados parámetros en relación con los datos, o los datos son ruidosos. Sin regularización, el ajuste puede producir soluciones con oscilaciones extremas que coinciden perfectamente con los datos pero carecen de poder predictivo (sobreajuste). La regularización añade un término de penalización a la función objetivo (por ejemplo, la suma de errores al cuadrado) que desalienta valores extremos de los parámetros, intercambiando efectivamente un pequeño aumento en el sesgo por una gran reducción en la varianza.
El concepto se remonta a la década de 1940 con los trabajos de Tijonov sobre problemas mal planteados, y fue popularizado en estadística por Hoerl y Kennard (1970) como regresión ridge.
En lugar de minimizar la pérdida habitual L(θ) (por ejemplo, chi-cuadrado), se minimiza L(θ) + λ R(θ), donde R es una penalización (por ejemplo, la suma de los cuadrados de los parámetros para la regresión ridge, o la suma de los valores absolutos para lasso) y λ es un parámetro de ajuste que controla la intensidad de la penalización. Un λ mayor obliga a los parámetros a acercarse a cero o entre sí, suavizando la solución. La elección de λ suele realizarse mediante validación cruzada para equilibrar el ajuste y la simplicidad.
Esencial en el aprendizaje automático (por ejemplo, para prevenir el sobreajuste en redes neuronales), en la reconstrucción de imágenes (como en las tomografías computarizadas) y en geofísica para invertir datos sísmicos.
La regularización es matemáticamente equivalente a asumir una distribución a priori sobre los parámetros en la inferencia bayesiana: la regresión ridge corresponde a una prior gaussiana, y lasso a una prior de Laplace.










