Ajustement en minimisant la somme des carrés des résidus — le cas particulier du maximum de vraisemblance lorsque les erreurs sont gaussiennes et égales.L'ajustement par moindres carrés est une procédure mathématique permettant de trouver la courbe ou la droite qui s'ajuste le mieux à un ensemble de points de données. Le « meilleur » ajustement est défini comme celui qui minimise la somme des carrés des distances verticales (résidus) entre les points de données et la courbe ajustée. Cette approche est omniprésente en science et en ingénierie car elle fournit un moyen fondé d'extraire des paramètres à partir de mesures bruitées, de l'étalonnage des instruments à la vérification des théories physiques.
La méthode a été publiée pour la première fois par Adrien-Marie Legendre en 1805, et Carl Friedrich Gauss a affirmé l'avoir utilisée plus tôt, vers 1795, pour des calculs astronomiques.
Pour un modèle donné (par exemple, une droite y = mx + b), on calcule le résidu pour chaque point de données : la différence entre la valeur observée et la prédiction du modèle. Élever chaque résidu au carré élimine le signe, pénalise plus lourdement les grands écarts et rend la somme différentiable. Les paramètres (m et b) sont ensuite ajustés à l'aide du calcul différentiel (ou de méthodes numériques) jusqu'à ce que la somme des carrés des résidus atteigne un minimum. Ce minimum correspond aux valeurs de paramètres les plus probables si les erreurs de mesure sont indépendantes et distribuées normalement avec une variance égale.
Utilisée dans pratiquement tous les domaines de la science quantitative : ajustement de courbes d'étalonnage en chimie, détermination de la constante de Hubble à partir des données de supernovae, et estimation des paramètres dans les modèles de régression en apprentissage automatique.
Le nom « moindres carrés » vient du fait que la solution minimise la somme des carrés des résidus, et non la somme des valeurs absolues des résidus, qui serait plus robuste aux valeurs aberrantes mais plus difficile à calculer analytiquement.





