Подгонка путём минимизации суммы квадратов остатков — частный случай метода максимального правдоподобия, когда ошибки гауссовы и одинаковы.Метод наименьших квадратов — это математическая процедура поиска наилучшей кривой или прямой, проходящей через набор точек данных. «Наилучшее» приближение определяется как то, которое минимизирует сумму квадратов вертикальных расстояний (остатков) между точками данных и подобранной кривой. Этот подход повсеместно используется в науке и технике, поскольку он даёт принципиальный способ извлекать параметры из зашумлённых измерений — от калибровки приборов до проверки физических теорий.
Метод был впервые опубликован Адриен-Мари Лежандром в 1805 году, а Карл Фридрих Гаусс утверждал, что использовал его ранее, около 1795 года, для астрономических расчётов.
Для заданной модели (например, прямой линии y = mx + b) вычисляется остаток для каждой точки данных: разность между наблюдаемым значением и предсказанием модели. Возведение каждого остатка в квадрат убирает знак, сильнее штрафует большие отклонения и делает сумму дифференцируемой. Затем параметры (m и b) подбираются с помощью математического анализа (или численных методов) до тех пор, пока сумма квадратов остатков не достигнет минимума. Этот минимум соответствует наиболее вероятным значениям параметров, если ошибки измерений независимы и распределены нормально с одинаковой дисперсией.
Используется практически во всех областях количественной науки: подгонка калибровочных кривых в химии, определение постоянной Хаббла по данным сверхновых и оценка параметров в регрессионных моделях машинного обучения.
Название «наименьшие квадраты» происходит от того факта, что решение минимизирует сумму квадратов остатков, а не сумму абсолютных остатков, которая была бы более устойчивой к выбросам, но её сложнее вычислить аналитически.





