Стандартный статистический метод подгонки модели к данным путём минимизации суммы квадратов остатков.Метод наименьших квадратов — это статистический метод оптимизации, используемый для подгонки математической модели к наблюдаемым данным путём минимизации суммы квадратов разностей (остатков) между наблюдаемыми и предсказанными значениями. Он является основополагающим приёмом регрессионного анализа, позволяющим оценивать параметры линейных и нелинейных моделей. В физике он повсеместно применяется для извлечения констант из экспериментальных данных, например, для определения гравитационной постоянной или калибровки датчиков.
Разработан независимо Карлом Фридрихом Гауссом (1795, опубликовано в 1809) и Адриеном-Мари Лежандром (1805). Гаусс использовал его для предсказания орбиты карликовой планеты Цереры, продемонстрировав его мощь в анализе астрономических данных.
Для заданного набора точек данных (x_i, y_i) и модельной функции y = f(x, параметры) метод подбирает параметры так, чтобы минимизировать Σ (y_i - f(x_i))². Для линейных моделей это сводится к решению системы нормальных уравнений, дающей решения в замкнутой форме. Для нелинейных моделей используются итерационные алгоритмы, такие как метод Гаусса-Ньютона или градиентный спуск. Квадратичный штраф гарантирует, что большие ошибки наказываются непропорционально сильно, что приводит к линии или кривой наилучшего соответствия, уравновешивающей общее отклонение.
Используется практически во всех областях науки и техники — от подгонки калибровочных кривых в спектроскопии до оценки параметров в эконометрических моделях и алгоритмах машинного обучения.
Название метода происходит от того, что он минимизирует сумму квадратов остатков, но он также соответствует оценке максимального правдоподобия, когда ошибки распределены нормально — связь, установленная Гауссом.
