Ajouter un terme de pénalité à un ajustement pour supprimer les solutions erratiques lorsque les données sous-déterminent le modèle.La régularisation est une technique utilisée pour ajuster des modèles à des données lorsque le problème est mal posé ou sous-déterminé, c'est-à-dire lorsqu'il y a trop de paramètres par rapport aux données, ou que les données sont bruitées. Sans régularisation, l'ajustement peut produire des solutions très oscillantes qui correspondent parfaitement aux données mais n'ont aucun pouvoir prédictif (surajustement). La régularisation ajoute un terme de pénalité à la fonction objectif (par exemple, la somme des carrés des erreurs) qui décourage les valeurs extrêmes des paramètres, ce qui permet d'échanger une légère augmentation du biais contre une forte réduction de la variance.
Le concept remonte aux années 1940 avec les travaux de Tikhonov sur les problèmes mal posés, et a été popularisé en statistiques par Hoerl et Kennard (1970) sous le nom de régression ridge.
Au lieu de minimiser la perte habituelle L(θ) (par exemple, le chi-deux), on minimise L(θ) + λ R(θ), où R est une pénalité (par exemple, la somme des carrés des paramètres pour la régression ridge, ou la somme des valeurs absolues pour le lasso) et λ est un paramètre de réglage qui contrôle la force de la pénalité. Un λ plus grand force les paramètres vers zéro ou les uns vers les autres, lissant la solution. Le choix de λ se fait souvent par validation croisée pour équilibrer l'ajustement et la simplicité.
Essentielle en apprentissage automatique (par exemple, pour éviter le surajustement dans les réseaux de neurones), en reconstruction d'images (par exemple, les scanners CT), et en géophysique pour l'inversion des données sismiques.
La régularisation est mathématiquement équivalente à l'hypothèse d'une distribution a priori sur les paramètres dans l'inférence bayésienne : la régression ridge correspond à un a priori gaussien, et le lasso à un a priori de Laplace.
