Técnicas para prevenir el sobreajuste restringiendo la complejidad del modelo durante el entrenamiento.Los métodos de regularización son técnicas utilizadas en el aprendizaje automático para prevenir el sobreajuste, restringiendo la complejidad del modelo durante el entrenamiento. El sobreajuste ocurre cuando un modelo aprende el ruido en los datos de entrenamiento en lugar del patrón subyacente, lo que conduce a un rendimiento deficiente en datos nuevos. La regularización añade un término de penalización a la función de pérdida, desalentando que el modelo se vuelva demasiado complejo. Los métodos comunes incluyen la regularización L1 (Lasso) y L2 (Ridge), que reducen los pesos hacia cero, y el dropout, que desactiva aleatoriamente neuronas durante el entrenamiento.
Los métodos de regularización tienen raíces en la estadística clásica, con la regresión ridge introducida por Arthur Hoerl y Robert Kennard en 1970, y Lasso por Robert Tibshirani en 1996. El dropout fue introducido por Geoffrey Hinton y sus colegas en 2012.
La idea central es añadir un término como λ·R(θ) a la función de pérdida, donde R(θ) mide la complejidad del modelo (por ejemplo, la suma de los pesos al cuadrado para L2, la suma de los valores absolutos de los pesos para L1). El hiperparámetro λ controla la fuerza de la regularización. Durante el descenso de gradiente, la penalización obliga al modelo a encontrar soluciones más simples que generalicen mejor. El dropout funciona estableciendo aleatoriamente una fracción de las activaciones a cero en cada paso de entrenamiento, entrenando efectivamente un conjunto de redes más pequeñas y reduciendo la co-adaptación de las neuronas.
La regularización se utiliza en prácticamente todo el entrenamiento de redes neuronales modernas, incluyendo el reconocimiento de imágenes, el procesamiento del lenguaje natural y aplicaciones científicas como la predicción de propiedades de materiales o el análisis de imágenes médicas.
El dropout se inspiró en la reproducción sexual: la idea de que los genes no deberían depender demasiado unos de otros, de manera similar a como las neuronas no deberían co-adaptarse.




















