Википедия

Метод наименьших квадратов: различия между версиями

Интерактивная навигация по истории
(Показать все непатрулированные изменения)
[непроверенная версия][отпатрулированная версия]
← Предыдущая правкаСледующая правка →
Содержимое удалено Содержимое добавлено
ВизуальныйВики-текст
это лишнее
Строка 1:
[[Файл:Linear least squares(2).svg|thumb|Пример кривой, проведённой через точки, имеющие нормально распределённое отклонение от истинного значения.]]
{{redirect|МНК}}
'''Метод наименьших квадратов (МНК, {{lang-en|Ordinary Least Squares, OLS}})''' — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции. МНК является одним из базовых методов [[регрессионный анализ|регрессионного анализа]] для оценки неизвестных параметров регрессионных моделей по выборочным данным.
 
== История ==
Строка 9:
 
== Суть метода наименьших квадратов ==
Пусть <math>x</math> — набор <math>n</math> неизвестных переменных (параметров), <math>f_i(x)</math>, <math>i=1, \ldots, m</math>, <math>m>n</math> — совокупность функций от этого набора переменных. Задача заключается в подборе таких значений <math>x</math>, чтобы значения этих функций были максимально близки к некоторым значениям <math>y_i</math>. По существу речь идет о «решении» переопределенной системы уравнений <math>f_i(x)=y_i</math>, <math>i=1, \ldots, m</math> в указанном смысле максимальной близости левой и правой частей системы. Суть МНК заключается в выборе в качестве «меры близости» суммы квадратов отклонений левых и правых частей  <math>|f_i(x)-y_i|</math>. Таким образом, сущность МНК может быть выражена следующим образом:▼
 
▲Пусть <math>x</math> — набор <math>n</math> неизвестных переменных (параметров), <math>f_i(x)</math>, <math>i=1, \ldots, m</math>, <math>m>n</math> — совокупность функций от этого набора переменных. Задача заключается в подборе таких значений <math>x</math>, чтобы значения этих функций были максимально близки к некоторым значениям <math>y_i</math>. По существу речь идет о «решении» переопределенной системы уравнений <math>f_i(x)=y_i</math>, <math>i=1, \ldots, m</math> в указанном смысле максимальной близости левой и правой частей системы. Суть МНК заключается в выборе в качестве «меры близости» суммы квадратов отклонений левых и правых частей  <math>|f_i(x)-y_i|</math>. Таким образом, сущность МНК может быть выражена следующим образом:
 
: <math>\sum_i e^2_i=\sum_i (y_i-f_i(x))^2 \rightarrow \min_x</math>.
Строка 21 ⟶ 20 :
: <math>Ax=b</math>,
 
где <math>A</math> прямоугольная матрица размера <math>m\times n, m>n</math> (т.е.то есть число строк матрицы A больше количества искомых переменных).
 
Такая система уравнений в общем случае не имеет решения. Поэтому эту систему можно «решить» только в смысле выбора такого вектора <math>x</math>, чтобы минимизировать «расстояние» между векторами <math>Ax</math> и <math>b</math>. Для этого можно применить критерий минимизации суммы квадратов разностей левой и правой частей уравнений системы, то есть <math>(Ax-b)^T(Ax-b)\rightarrow \min_x</math>. Нетрудно показать, что решение этой задачи минимизации приводит к решению следующей системы уравнений
Строка 162 ⟶ 161 :
 
=== Случай полиномиальной модели ===
 
Если данные аппроксимируются полиномиальной функцией регрессии одной переменной <math>f(x) = b_0+\sum \limits_{i = 1}^{k} b_i x^{i}</math>, то, воспринимая степени <math>x^i</math> как независимые факторы для каждого <math>i</math> можно оценить параметры модели исходя из общей формулы оценки параметров линейной модели. Для этого в общую формулу достаточно учесть, что при такой интерпретации <math>x_{ti}x_{tj}=x^i_tx^j_t=x^{i+j}_t</math> и <math>x_{tj}y_t=x^j_ty_t</math>. Следовательно, матричные уравнения в данном случае примут вид:
 
Строка 218 ⟶ 216 :
{{main|Обобщенный метод наименьших квадратов}}
 
Метод наименьших квадратов допускает широкое обобщение. Вместо минимизации суммы квадратов остатков можно минимизировать некоторую положительно определеннуюопределённую [[Квадратичная форма|квадратичную форму]] от вектора остатков <math>e^TWe</math>, где <math>W</math> — некоторая симметрическая положительно определеннаяопределённая весовая матрица. Обычный МНК является частным случаем данного подхода, когда весовая матрица пропорциональна единичной матрице. Как известно, для симметрических матриц (или операторов) существует разложение <math>W=P^TP</math>. Следовательно, указанный функционал можно представить следующим образом <math>e^TP^TPe=(Pe)^TPe=e^T_*e_*</math>, то есть этот функционал можно представить как сумму квадратов некоторых преобразованных «остатков».
Таким образом, можно выделить класс методов наименьших квадратов — LS-методы (Least Squares).
 
Строка 231 ⟶ 229 :
<math>V(\hat {b}_{GLS})=(X^TV^{-1}X)^{-1}</math>.
 
Фактически сущность ОМНК заключается в определенномопределённом (линейном) преобразовании (P) исходных данных и применении обычного МНК к преобразованным данным. Цель этого преобразования — для преобразованных данных случайные ошибки уже удовлетворяют классическим предположениям.
 
=== Взвешенный МНК ===
Строка 239 ⟶ 237 :
* [[Обобщенный метод наименьших квадратов]]
* [[Двухшаговый метод наименьших квадратов]]
* [[Регрессионный анализ]]
* [[Метод наименьших модулей]]
* [[Рекурсивный МНК]]
* [[Метод инструментальных переменных]]
 
== Примечания ==
Строка 282 ⟶ 277 :
|место = М.
|издательство = Юнити-Дана
|год = 2003-20042003—2004
|страниц = 311
|isbn = 8-86225-458-7
Строка 323 ⟶ 318 :
* [http://www.chem-astu.ru/science/lsq/ Метод наименьших квадратов онлайн для зависимости y = a + bx] с вычислением погрешностей коэффициентов и оцениванием автокорреляции.
* [http://calculator-online.org/s/teoriya-veroyatnosti/method-naimenshih-kvadratov/ МНК для линейных и нелинейных зависимостей] (любой набор неизвестных коэффициентов) — на сайте «Контрольная работа РУ»
 
{{rq|refless|cleanup|sources}}
 
[[Категория:Эконометрика ]]
Источник — https://ru.wikipedia.org/wiki/Метод_наименьших_квадратов