Une méthode statistique standard pour ajuster un modèle à des données en minimisant la somme des carrés des résidus.La méthode des moindres carrés est une technique d'optimisation statistique utilisée pour ajuster un modèle mathématique à des données observées en minimisant la somme des carrés des écarts (résidus) entre les valeurs observées et les valeurs prédites. Elle constitue la technique fondamentale de l'analyse de régression, permettant d'estimer les paramètres de modèles linéaires et non linéaires. En physique, elle est omniprésente pour extraire des constantes à partir de données expérimentales, comme la détermination de la constante gravitationnelle ou l'étalonnage de capteurs.
Développée indépendamment par Carl Friedrich Gauss (1795, publiée en 1809) et Adrien-Marie Legendre (1805). Gauss l'utilisa pour prédire l'orbite de la planète naine Cérès, démontrant ainsi sa puissance dans l'analyse de données astronomiques.
Étant donné un ensemble de points de données (x_i, y_i) et une fonction modèle y = f(x, paramètres), la méthode ajuste les paramètres pour minimiser Σ (y_i - f(x_i))². Pour les modèles linéaires, cela se réduit à résoudre un système d'équations normales, donnant des solutions explicites. Pour les modèles non linéaires, on utilise des algorithmes itératifs comme Gauss-Newton ou la descente de gradient. La pénalité quadratique garantit que les erreurs importantes sont pénalisées de manière disproportionnée, conduisant à une droite ou une courbe d'ajustement qui équilibre l'écart global.
Utilisée dans pratiquement tous les domaines de la science et de l'ingénierie — de l'ajustement de courbes d'étalonnage en spectroscopie à l'estimation de paramètres dans les modèles économétriques et les algorithmes d'apprentissage automatique.
Le nom de la méthode vient du fait qu'elle minimise la somme des carrés des résidus, mais elle correspond aussi à l'estimation du maximum de vraisemblance lorsque les erreurs suivent une distribution normale — une connexion établie par Gauss.
