Метод наименьших квадратов: формула и применение в статистике

Метод наименьших квадратов — один из основных инструментов математической статистики. Он позволяет найти оптимальное приближение экспериментальных данных функцией заданного вида. Чаще всего это линейная зависимость. Метод заключается в минимизации суммы квадратов отклонений значений зависимой переменной от аппроксимирующей функции. Благодаря простоте и эффективности, метод наименьших квадратов применяется повсеместно — от прогнозирования продаж до анализа физических процессов. В данной статье мы рассмотрим математические основы метода и его использование в статистике.

История возникновения метода наименьших квадратов

Метод наименьших квадратов впервые был предложен легендарным немецким математиком и астрономом Карлом Фридрихом Гауссом в 1795 году. Гаусс использовал этот метод для обработки результатов астрономических наблюдений, чтобы минимизировать погрешности измерений. Независимо от Гаусса метод наименьших квадратов был опубликован в 1805 году французским математиком Адриеном-Мари Лежандром в его работе «Méthode des moindres quarrés».

В дальнейшем метод наименьших квадратов получил развитие в трудах Лапласа, Эдрейна, Энке, Бесселя, Ганзена и других выдающихся математиков и астрономов. Они применяли его для обработки результатов астрономических, геодезических и других измерений. В начале XX века работы Андрея Маркова позволили включить метод наименьших квадратов в теорию математической статистики.

Таким образом, метод наименьших квадратов зародился еще в конце XVIII века, а в последующие 100-150 лет получил широкое распространение и стал одним из фундаментальных методов математической статистики. Он до сих пор активно используется в регрессионном анализе, обработке экспериментальных данных, а также во многих других областях науки и техники. В разделе «метод наименьших квадратов формула» более подробно рассмотрим его математическую формализацию.

Математическая формулировка задачи метода наименьших квадратов

Рассмотрим линейную модель зависимости случайной величины Y от k факторов X1, X2, …, Xk:

• Y = β0 + β1X1 + … + βkXk + ε
• где β0, β1, …, βk — неизвестные параметры (коэффициенты) модели, а ε — случайная ошибка модели.

Предположим, у нас есть выборка объема n наблюдений {(xi1, xi2, …, xik, yi), i = 1, 2, …, n}. Тогда система уравнений модели в матричной форме:

• Y = Xβ + ε
• где Y — вектор наблюдений зависимой переменной (n x 1),
• X — матрица факторов или регрессоров (n x (k+1)),
• β — вектор неизвестных коэффициентов ((k+1) x 1),
• ε — вектор ошибок модели (n x 1).

Задача метода наименьших квадратов — найти такие оценки коэффициентов β̂, чтобы сумма квадратов отклонений наблюденных значений Y от предсказанных по модели Ŷ была минимальна, т.е. выполнялось:

• S = Σ(Yi — Ŷi)2 → min
• Ŷi = β̂0 + β̂1Xi1 + … + β̂kXik

Дифференцируя выражение для суммы квадратов отклонений S по β и приравнивая производные к нулю, получаем систему нормальных уравнений:

• ΣXiYi = Σβi*ΣXi2, i = 0, 1, …, k
• где Xi — столбец с данными по i-му фактору (для i = 0 берется столбец единиц).

Решение этой системы нормальных уравнений методом Крамера или матричным методом и даст оценки коэффициентов β̂ модели, найденные методом наименьших квадратов. Полученная модель будет оптимальна по критерию минимума суммы квадратов отклонений.

Алгоритм поиска коэффициентов линейной модели методом наименьших квадратов

Рассмотрим пошаговый алгоритм нахождения оценок коэффициентов линейной модели методом наименьших квадратов:

1. Сформировать матрицу факторов (предикторов) X размером n × (k+1), где n — объем выборки, k — количество факторов, а дополнительный столбец из единиц соответствует свободному члену.
2. Сформировать вектор-столбец зависимой переменной Y размером n × 1.
3. Вычислить матрицу XT * X, где XT — транспонированная матрица X.
4. Вычислить вектор XT * Y.
5. Решить систему нормальных уравнений: (XT * X) * β = XT * Y. В результате получим вектор оценок коэффициентов β̂.

Полученные таким образом оценки являются решением задачи метода наименьших квадратов, то есть обеспечивают минимум суммы квадратов отклонений. Для упрощения вычислений часто используют не матричную форму, а эквивалентные ей систему нормальных уравнений и формулы для оценок коэффициентов через статистические моменты:

• ΣXi*Yi = β0*ΣXi + β1*ΣXi2 + … + βk*ΣXi*Xk, i = 0, 1, …, k
• β̂1 = (ΣXi*Yi — β̂0*ΣXi) / ΣXi2, i = 1, 2, …, k
• β̂0 = (ΣYi — β̂1*ΣXi — … — β̂k*ΣXk) / n

Где Xi — вектор значений i-го фактора, Yi — вектор зависимой переменной, n — объем выборки. Подставляя оценки коэффициентов в исходную линейную модель, получаем уравнение регрессии, найденное методом наименьших квадратов.

Свойства оценок, получаемых с помощью метода наименьших квадратов

Оценки коэффициентов, полученные методом наименьших квадратов, обладают рядом важных свойств при выполнении определенных условий.

1. Несмещенность. Математическое ожидание оценок коэффициентов равно истинным значениям коэффициентов модели:

• M[β̂i] = βi, i = 0, 1, …, k
• Это выполняется, если математическое ожидание случайной ошибки равно 0.

2. Эффективность. Оценки коэффициентов имеют наименьшую дисперсию среди всех линейных несмещенных оценок, если:

• Математическое ожидание ошибки E(εi) = 0
• Дисперсия ошибки постоянна: Var(εi) = σ2
• Отсутствует автокорреляция ошибок: Cov(εi, εj) = 0 при i ≠ j

Это известно как теорема Гаусса-Маркова. То есть оценки МНК являются наилучшими линейными несмещенными оценками (сокращенно ННО или BLUE).

3. Состоятельность. При увеличении объема выборки оценки коэффициентов сходятся по вероятности к истинным значениям:

• lim P(|β̂i — βi| < ε) = 1, ε > 0
• Это обеспечивается сходимостью статистических моментов к их математическим ожиданиям.

Таким образом, при определенных условиях, выполнение которых называют классическими предположениями, оценки метода наименьших квадратов являются оптимальными с точки зрения точности и сходимости к истинным значениям параметров модели.

Применение метода наименьших квадратов в регрессионном анализе

Одно из основных применений метода наименьших квадратов — это построение уравнений регрессии в рамках регрессионного анализа. Регрессионный анализ позволяет оценивать влияние одной или нескольких независимых переменных (факторов) на зависимую переменную и прогнозировать значения последней. Основным инструментом регрессионного анализа является построение модели зависимости вида:

• Y = f(X1, X2, …, Xk) + ε
• где X1, X2, …, Xk — факторы, Y — зависимая переменная, ε — ошибка модели.

Чаще всего используются линейные модели регрессии, где функция f является линейной. Например, для одного фактора X:

• Y = β0 + β1*X + ε

Задача состоит в том, чтобы по имеющимся данным найти оценки коэффициентов β0 и β1. Для этого как раз и используется метод наименьших квадратов.

Он позволяет получить такие оценки коэффициентов β̂0 и β̂1, чтобы минимизировать сумму квадратов отклонений фактических значений Y от предсказанных моделью Ŷ. Подставляя найденные коэффициенты в исходное уравнение регрессии, получаем модель, которая дает наилучшее среди линейных моделей приближение к имеющимся данным.

Аналогично метод наименьших квадратов применяется для оценки коэффициентов в моделях множественной регрессии с несколькими факторами. Он позволяет получить эффективные и несмещенные оценки коэффициентов регрессии. Таким образом, метод наименьших квадратов является одним из ключевых инструментов регрессионного анализа, широко используемым для построения регрессионных моделей и прогнозирования значений целевой переменной на основе факторов-предикторов.

Обобщенный метод наименьших квадратов для нелинейных и неидеальных моделей

Классический метод наименьших квадратов (МНК) обладает оптимальными свойствами при выполнении ряда предположений, например, о нормальном распределении ошибок, отсутствии автокорреляции и др. Однако на практике эти предположения часто нарушаются.

Для таких неидеальных ситуаций был разработан обобщенный метод наименьших квадратов (ОМНК). Его суть заключается в следующем:

1. Исходные данные преобразуются с помощью некоторой весовой матрицы P, учитывающей структуру корреляции ошибок:
2. К преобразованным данным применяется классический МНК.
3. Полученные оценки пересчитываются для исходных данных.

Благодаря преобразованию P, ошибки преобразованной модели уже удовлетворяют всем необходимым предположениям и МНК дает эффективные оценки. Правильный выбор матрицы P позволяет получить адекватную модель даже при существенных отклонениях от классических предположений.

Кроме того, обобщенный МНК может применяться для оценивания коэффициентов в нелинейных регрессионных моделях, приводя их к линейному виду с помощью различных преобразований. Так, нелинейная зависимость вида Y = 1/X может быть преобразована к линейному виду:

• 1/Y = Xb, где b = 1/a
• Далее к преобразованным данным (1/Y и X) применяется стандартный МНК для получения оценки b, по которой находится нужный коэффициент a.

Аналогичные преобразования могут применяться и для других нелинейных моделей. Так обобщенный МНК позволяет расширить область применения исходного метода наименьших квадратов для более сложных практических задач.