Обсуждение:Метод наименьших квадратов

Последнее сообщение: 9 лет назад от РоманСузи в теме «Зачем это загромождение формул для частного случая?»

Возмущения править

Не, ну это вообще несерьезная статья, кометы какие-то...Короче позор тому, кто это написал((194.85.223.216 11:43, 22 августа 2008 (UTC)okhrimОтветить

        Исправляйте! 
        Он по крайней мере её написал.--w495 19:43, 28 апреля 2009 (UTC)Ответить
Что значит "он по крайней мере её написал"? Это не статья а набор копипасты из разных источников. Пользы ноль, практических формул для рассчета нет, связанного обьяснения нет, судя по всему просто автор не понимает предмет. Какая ценность копипасты выдранной из контекста без понимания? Не нулевая, а отрицательная, потому что люди тратят время на чтение этой ерунды, и только запутываются в итоге. — Эта реплика добавлена с IP 195.218.192.31 (о)
Зачем вы занимаетесь передергиванием? Формулы которые "имеются" не применимы для нормальных расчетов, чтобы понять о чем они нужно иметь базис намного больший, чем пользование самим методом, что логично делает их бессмысленными - если ты их понял, тебе не нужна эта статья. Теперь насчет "дописывания" статьи - ребенок мертворожденный, припарки ему не помогут, статью нужно удалять и нормальному автору писать с нуля. Если автора не найдется незачем направлять с яндекса людей в очередную помойку и позорить википедию. И так везде слышу, что википедию пишут школьники. — Эта реплика добавлена с IP 195.218.192.31 (о)
  • Применимы. Начиная с "Пусть y-вектор-столбец наблюдений объясняемой переменной" 2-3 абзаца + линейная алгебра на начальном уровне. А вот если бы школьники писали бы, то требовался бы ещё меньший базис знаний. Хотя стиль статьи действительно рваный, да и с частными ответвлениями. Поэтому Правьте смело то, в чём разбираетесь. --Reinstall 19:37, 9 февраля 2012 (UTC)Ответить


Несоответствия в расчётах править

Если считать по представленным формулам, то пример посчитан с ошибкой: [ab] = 323 а не 297


Откуда 297? Странно.. у меня получаются такие данные

     a=5; a1=8; a2=16; a3=9; a4=9;
     b=8; b1=1; b2=8; b3=7; b4=20;
     n=16; n1=32; n2=55; n3=32; n4=29

Далее возникает вопрос как считать aa, ab, an, bb, bn

Если влоб по формуле то получается

    aa = a1*a1 + a2*a2 + a3*a3 + a4*a4
    aa = 482
    ab = a1*b1 + a2*b2 + a3*b3 + a4*b4
    ab = 379
    an = a1*n1 + a2*n2 + a3*n3 + a4*n4
    an = 1685
    bb = b1*b1 + b2*b2 + b3*b3 + b4*b4
    bb = 514
    bn = b1*n1 + b2*n2 + b3*n3 + b4*n4
    bn = 1276

А правильно как я понимаю

    aa = a1*a1 + a2*a2 + a3*a3 + a4*a4 + a*a
    aa = 507
    ab = a1*b1 + a2*b2 + a3*b3 + a4*b4 + a*b
    ab = 419
    an = a1*n1 + a2*n2 + a3*n3 + a4*n4 + a*n
    an = 1765
    bb = b1*b1 + b2*b2 + b3*b3 + b4*b4 + b*b
    bb = 578
    bn = b1*n1 + b2*n2 + b3*n3 + b4*n4 + b*n
    bn = 1404

Нужно изменить запись исходной системы уравнений или формулу. ab посчитано неправильно вместо 323 нужно 419 bn посчитано неправильно вместо 1084 нужно 1404

Смотрим далее

   [aa]x + [ab]y + [an] = 0
   [ab]x + [bb]y + [bn] = 0

Получаем систему

   507x + 419y + 1765 = 0
   419x + 578y + 1404 = 0

Решая её, я получил что

x=3.676
y=-0.236

Повнимательней статью пишите и желательно брать информацию не из энциклопедий, а из учебников и методичек. 195.135.237.18 08:23, 10 января 2008 (UTC)Ответить


Правильное решение системы из примера. x = 3.412 y = -0.109

Ещё неплохо бы, чтоб кто-то написал о том, как оценивать точность, т.е. O-C 195.19.201.4 13:19, 13 декабря 2010 (UTC) sdfОтветить

Метод наименьших квадратов править

Где вся математика, друзья? Где огромные формулы, где рисунки. Если пишите статью, то помните, что просто так никто про МНК смотреть не будет. Мне, например, нужны были выкладки и формулы, чтобы решить задачу. Здесь я этого не нашёл. Слабовато!

Самая лучшая статья по методу МНК! Здесь реальный понятный пример расчёта! Vitperov 10:09, 16 мая 2011 (UTC)Ответить

Ошибки оценки коэффициентов править

Исходя из чего и как они рассчитываются?--Vego 17:27, 22 июня 2007 (UTC) 77.222.108.197 10:16, 16 мая 2011 (UTC) Слишком категорично Вы высказываетесь. Статья, конечно, достаточно сырая. Но я бы был приятно удивлен, если бы описание МНК автором статьи (или группой авторов) было бы значительно лучше. Другие статьи по МНК ничуть НЕ ЛУЧШЕ! Поэтому вряд ли имеет смысл давать какие-то ссылки на "хорошие" статьи, поскольку хороших статей по МНК просто НЕТ! Нет их ни в книгах,ни в методичках, ни в журналах, ни в интернете, ни где-либо еще. То есть, их вообще нет. МНК - это "вещь в себе"! Вообще говоря, логика, философия, метаматематика и метафизика МНК не такая простая, какой она кажется на первый взгляд. В этом методе гораздо больше вопросов, чем ответов. Конечно, хотелось бы иметь статью по МНК, которая достаточно популярно и подробно излагала и смысл метода, и его особенности. Но сделать это не просто!Ответить

В данном случае автор достаточно сбалансировано описал смысл и историю метода, хотя и не все вполне правильно. Можно попытаться исправить и дополнить. 212.45.15.4 05:33, 6 мая 2011 (UTC) OzesОтветить

Конечно круто вы сказали про МНК. Про вещь в себе и все такое. Ну не знаю, в регрессионном анализе про МНК известно все или почти все (как говорят математики - за исключением множества меры ноль!). Я не знаю есть ли статьи хорошие про МНК, но книг полно. Естественно они не посвящены только МНК, но в том числе. Ну вся эконометрика учебная вертится вокруг МНК. Суть самого МНК проста до невозможности - используется классическая мера расстояния - сумма квадратов. Ее минимизация и дает оптимальное в некотором смысле решение задачи. Должен сказать, что можно подход обобщить на произвольную функцию, которая просто удовлетворяет аксиомам метрики, они тоже известны (неотрицательность, коммутативность, неравенство треугольника). Например, есть метод такой - метод наименьших модулей (там вместо квадратов - модули), но у него есть свои проблемы. Можно придумать гибридные методы. Вариантов много, у каждого свои недостатки. MyWikiNik 18:27, 31 января 2012 (UTC)Ответить

Ссылка на материал с формулами и примерами править

вот здесь неплохой материал http://www.exponenta.ru/educat/class/courses/vvm/theme_7/theory.asp у кого есть желание и время сделайте на его основе хорошую статью, а вобще гугл в помощь

77.232.143.201 09:17, 13 января 2010 (UTC)alvin 13.01.2010Ответить

Критика править

Исправляйте!

Он по крайней мере её написал.

Надеюсь, есть люди знающие МНК

и умеющие не только критиковать!

--w495 19:43, 28 апреля 2009 (UTC)Ответить


Вот тут ещё неплохо написано, в частности если аппроксимирующая функция - полином первого порядка (прямая) http://multitest.semico.ru/mnk.htm

91.122.114.17 19:55, 3 февраля 2010 (UTC)Ответить

нелинейный МНК править

Необходимо перевести и добавить en:Least_squares#Non-linear_least_squares, к сожалению сейчас не могу Finarfin 21:51, 30 мая 2010 (UTC)Ответить

Меняю статью править

Статья, конечно никакая. Многое поменял и еще собираюсь менять. Подскажите пожалуйста как убрать окошечко после добавленного мною раздела "Сущность МНК". От чего она появляется? Спасибо.MyWikiNik 13:55, 31 января 2012 (UTC) Спасибо, тому кто убрал. Судя по всему дело в пробелах в начале наверное, если я правильно понялMyWikiNik 14:51, 31 января 2012 (UTC)Ответить

Полностью удаляю приведенный первоначальным автором большой пример, прямого отношения к МНК не имеющий. Вместо этого записал кратко о возможном ином применении МНК. Кратко и четко без цифр.MyWikiNik 16:19, 31 января 2012 (UTC)Ответить

В общем, кардинально поменял статью. Не трогал историю (даже не читал пока). Статью поменял, так как в том виде практически ничего полезного про МНК в статье не было. Более того, по содержанию, там скорее больше статья была посвящена примеру решения системы уравнений, количество которых больше количества переменных. Ну в общем смотрите, пишите, правьте если что-то не так. Если будут идею дополню или поменяю MyWikiNik 18:15, 31 января 2012 (UTC)Ответить

Отменяю правки анонима править

Уважаемый аноним 79.111.82.238 я понял суть ваших правок - переобозначить ESS на RSS. Я вам даже больше скажу - существует большая путаница в литературе в обозначениях. Его обозначают ESS, RSS, SSE, SSR и т.д. Я привык к обозначению ESS, как это приведено например в Магнус, Катышев, Пересецкий Эконометрика. Начальный курс. Я знаю, что в пособиях имеются прямо противоположные обозначения (в смысле ESS и RSS). Тут ничего не поделаешь. Просто надо определиться с обозначениями и вперед. Ваши правки были бы абсолютно необходимыми, если бы вы показали, что абсолютное большинство авторитетных источников все таки придерживается ваших обозначений. У меня такой информации нет. Если есть готов изменить свое мнение. MyWikiNik 20:09, 31 марта 2012 (UTC)Ответить

  • Тем не менее, ещё большая путаница возникает, если об ESS (explained sum of squares) говорить как о сумме квадратов остатков (то есть, сюрприз! Residual Sum of Squares). Переименовал. Вот в таком (это не АИ, но TSS, RSS и ESS логично расписаны) или Носко В.П. Эконометрика для начинающих (дополнительные главы). М.: ИЭПП, 2005. У Орлова в учебнике просто SS. Шалабанов А.К., Роганов Д.А. (Эконометрика) - просто S. РоманСузи 12:53, 28 октября 2012 (UTC) Это я брал работы по эконометрике. Если взять работы по математике, то там можно встретить Q (например, у Линника), J (Applied Optimal Estimation, edited by Gelb) и наверное всё, что угодно. Так что если не будет консенсуса между RSS и ESS, можно назвать Q и не морочить голову. РоманСузи 13:11, 28 октября 2012 (UTC)Ответить
  • Чтобы еще больше убедить: англовики использует RSS (полагаю, при синонимичности нужно отдать предпочтение тому варианту, что уже использует в Википедии), на http://www.britannica.com residual sum of squares даёт больше результатов, чем error sum of squares. С другой стороны, заметил, что error sum of error больше обозначается как SSE. С другой стороны, http://encyclopedia2.thefreedictionary.com/error+sum+of+squares приводит оба варианта по McGraw-Hill Dictionary of Scientific & Technical Terms, 6E, Copyright © 2003 by The McGraw-Hill Companies, Inc., отдавая некоторое предпочтение error sum of error (но там не приведено сокращение). Думаю, здесь разница в школах, по аналогии с вещественными и действительными числами (Питер / Москва) РоманСузи 13:38, 28 октября 2012 (UTC)Ответить
    • Лично мне все равно как обозначено. Я лишь говорю, что объективно имеются разные обозначения и разная расшифоровка одинаковых буквенных обозначений ESS - не только Explained SS, но и Errors SS! Также RSS - не только Residual SS, но и Regression SS. Заметьте также, что сами Residuals почему-то принято обозначать буковками e, а не r (хотя может я чего не знаю?) - так что идеальным было бы обозначения типа  , просто чтобы не писать индексы пишут SSE ну или используя языковые возможности ESS. Если большинство авторов ориентируется на ваши обозначения и в Википедии тоже с этим согласны, то я вовсе не против. Но такое решение, во-первых, думаю должно быть принято, если так можно выразиться, официально. Во-вторых, обязательно должна быть сноска на наличие альтернативных обозначений и трактовок букв в обозначениях. В-третьих, обозначения должны быть универсальными во всех статьях Вики (я написал много статей, где ESS используется как сумма квадратов остатков).
    • Кстати я не увидел в англовики RSS в статье про МНК, зато там остатки обозначены r (а сумма их квадратов просто S)! Чего я не видел в отечественной литературе.MyWikiNik 05:08, 4 апреля 2013 (UTC)Ответить

Применение МНК на практике править

Чтобы пояснить, как в некоторых случаях можно применять МНК, я решил добавить в статью несколько разделов и подразделов. Один подраздел я уже добавил. В нём поясняется, как с помощью МНК можно найти линейную зависимость одной величины от другой. Время появится, и я добавлю всё, что считаю необходимым.

В этих разделах понятным языком будет поясняться, как в тех или иных случаях можно применять МНК. Ведь некоторые люди приходят сюда именно за этим. Mr.Freud 08:26, 28 октября 2012 (UTC)Ответить

  • Замечательно. Не забудьте только сразу же отмечать сносками использованные источники. Сейчас вся статья неизвестно откуда взята. Если сильно вырастет, можно будет в отдельную статью выделить. РоманСузи 08:31, 28 октября 2012 (UTC)Ответить
  • Из литературного источника я взял утверждение о том, что "сумма квадратов отклонений должна быть минимальной". И формулу соответствующую тоже взял оттуда. Остальные расчёты можно произвести самому. И соответствующий пример тоже. Mr.Freud 09:06, 28 октября 2012 (UTC)Ответить
  • Не сочтите за занудство, но источники лучше указывать в виде сносок, а не просто внизу, где литература. Это даёт некоторую гарантию, что выполненная в Википедии работа не пойдёт прахом позже, когда кто-то сочтёт, что это ВП:ОРИСС и не удалит. И эти сноски меньше всего проблем ставить, когда написанное свежо, чем потом искать, откуда это (с указанием страницы). Не я выдумал правила Википедии (но на себе испытал), так что считайте за совет. РоманСузи 12:01, 28 октября 2012 (UTC)Ответить
  • Пока в инете я нашёл один источник[1], дающий информацию, максимально похожую на ту, что даётся в практикумах по выполнению лабораторных работ по физике. Mr.Freud 03:58, 29 октября 2012 (UTC)Ответить
  • Понятно. Не АИ, конечно, но направление понятно. Кстати, для учебного материала есть проект викиучебник. Если у Вас есть желание написать большой материал, и он по формату в Википедию не влазит, то там можно развернуться. РоманСузи 04:45, 29 октября 2012 (UTC)Ответить
  • Викиучебник? Интересно, ознакомлюсь. Ещё одна проблема в том, что половина моих изысканий, как ни крути, будут являться оригинальными исследованиями. Ввиду того, что не каждый может понять, что я хочу в них показать, эти самые исследования могут удалить. И всё же они будут давать статье то, что от неё порою требуют пользователи Википедии. Mr.Freud 16:18, 29 октября 2012 (UTC)Ответить

Поиском АИ я потихоньку занялся, подключил друзей. Скорее всего в качестве АИ будет какой-нибудь практикум по лабораторным работам по физике, но не факт, что на него найдётся ссылка в интернете. Mr.Freud 16:21, 29 октября 2012 (UTC)Ответить

  • Суть википедии в том, чтобы упорядочить и т. п. знания из других источников. Если у Вас свои изыскания, то это - викиучебник или викиуниверситет (надо посмотреть, какие там правила). (Правда, если ничего нового Вы не вносите (кроме новой формы или порядка описания материала, скажем) - всё в рамках существующей теории, изложенной в АИ, то, проблем много меньше) Ну или собственную методичку издать, если накопилось много опыта. МНК настолько затасканная тема, что даже термины и обозначения разняться в разных дисциплинах. РоманСузи 17:43, 29 октября 2012 (UTC)Ответить

[2] Вот замечательный источник. Правда, здесь не всё, что надо, но это лучше, чем предыдущий. Mr.Freud 19:31, 31 октября 2012 (UTC)Ответить

При всем уважении, думаю нынешнее содержание вашего раздела содержит лишнюю информацию - подробный вывод для очень частного случая. Я предлагаю в уже имеющемся подразделе Пример: простейшая (парная регрессия) записать кратко про ваш пример, что я и сделаю.MyWikiNik 03:54, 22 марта 2013 (UTC)Ответить

ИМХО править

Статистическая трактовка МНК - следствие его основного практического применения в период создания. На самом деле МНК это оптимизационный метод решения "избыточных" систем линейных и нелинейных уравнений (в последнем случае применяется и для не избыточных систем). Сам по себе МНК не имеет отношения к статистике и регрессия лишь частный случай его применения при вероятностной постановке задачи. Избыточная система уравнений как предмет метода указана и у вас вначале раздела "История". Поэтому полагаю, что надо

  1. Поменять местами первый и второй абзацы вводной части.
  2. Изложить метод применительно к линейной и нелинейной системам уравнений без упоминания вероятности, регрессии, сл. ошибки и т.п. Так, как сделано в англоязычном и немецком разделах. Это не требует существенной переработки статьи.
  3. Только после этого следует описывать регрессионный анализ, хотя на эту тему уже написана довольно подробная статья.
  4. PS. В "хорошей" статье немцы не поленились даже подробно расписать линейный случай одной переменной. МетаСкептик12 12:04, 11 июля 2013 (UTC)Ответить
В целом не возражаю против расширения статьи. Надо подумать. MyWikiNik 02:52, 12 июля 2013 (UTC)Ответить
В общем в первом приближении написал. Можете доработать, если есть желание. Я очень не хотел про системы уравнений писать ибо вырывается из контекста. Изначально цель была написать про метод именно в статистическом, регрессионном, эконометрическом приложении. Но раз есть такое мнение можно писать и в общем. Конечно, статью надо будет еще доработать. MyWikiNik 11:20, 12 июля 2013 (UTC)Ответить

Зачем это загромождение формул для частного случая? править

Статья имела нормальную структуру. Пока не добавили это загромождение из формул для частного случая аппроксимации полиномом. Если вы не заметили, то общий случай описан и так в статье. Если хотели про конкретный случай аппроксимации полиномами - можно просто сделать подраздельчик в примером. Но без такого количества формул с полным выводом. Притом, что аппроксимация полиномом по сути (имеется в виду по технической сути, а не по смыслу) ничем не отличается от линейного случая, так как все равно речь идет о линейной по параметрам модели. Полагаю, все это надо резко сократить и куда-то запихнуть в качестве примера-пояснения условно-нелинейного случая. Но не более того. В таком виде он никак сущность МНК не раскрываетю Какие будут мнения?MyWikiNik 17:45, 25 августа 2014 (UTC)Ответить

Мотивом добавления подробного вывода в "сущность метода" была критика, которая присутствует в обсуждении статьи, выше.
На счёт, частного и общего случая, чтобы понять общую картину МНК лучше начать с частного случая, правильно начать, я попытался обобщить до пределов понятных обычному читателю, при этом дал полный вывод, после которого у читателя не возникнет вопросов, то есть я дал читателю возможность войти в тему, после которой читатель сам сможет делать необходимые обобщения, нагружать читателя сразу общим случаем и матричными операциями считаю вредным для читателя, притом что разобранный случай удовлетворяет потребность в методе для 90% читателей. Возможно вывод получился громоздким, однако он закрывает все вопросы, но если у Вас есть предложения по улучшению, готов их принять. Сухопаров Станислав 10:55, 26 августа 2014 (UTC)Ответить
Конечно, хотелось бы услышать мнение сторонних наблюдателей, и людей пытающихся разобраться в МНК, так сказать непредвзятых. --Сухопаров Станислав 10:57, 26 августа 2014 (UTC)Ответить
Можете меня считать предвзятым конечно, но подробный вывод для частного случая полиномиальной аппроксимации никак на самом деле не может отражать ту самую сущность МНК как указано в названии раздела. Сущность МНК - найти неизвестные, минимизирующие сумму квадратов отклонений. Все остальное - решение этой задачи. Можно в матричной, можно вот так вот без матриц и прочее. Полагаю, оптимальным было бы оставить сущность как было, а ваш частный случай - привести в качестве примера, причем желательлно после линейной модели (можно написать, если не написано, что многие нелинейные модели сводятся к линейным и ничем от линейного случая технически не отличаются). Если хотите подробно оставить весь вывод, то можно, но лучше большую часть скрыть спойлером - захотят, посмотрят. А то громоздко это получается для энциклопедической статьи имхо. MyWikiNik (обс) 14:02, 27 августа 2014 (UTC)Ответить
Согласен, приведу к классическому виду и сокращу вывод. --Сухопаров Станислав (обс) 10:17, 28 августа 2014 (UTC)Ответить
Просил откатить статью к версии 06:54, 9 августа 2014, https://ru.wikipedia.org/wiki/%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%83%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA%D0%B0:Krassotkin#.D0.9F.D0.BE.D0.BC.D0.BE.D0.B3.D0.B8.D1.82.D0.B5_.D0.B2.D0.B5.D1.80.D0.BD.D1.83.D1.82.D1.8C_.D1.81.D1.82.D0.B0.D1.82.D1.8C.D1.8E_.22.D0.9C.D0.B5.D1.82.D0.BE.D0.B4_.D0.BD.D0.B0.D0.B8.D0.BC.D0.B5.D0.BD.D1.8C.D1.88.D0.B8.D1.85_.D0.BA.D0.B2.D0.B0.D0.B4.D1.80.D0.B0.D1.82.D0.BE.D0.B2.22_.D0.BA_.D0.B2.D0.B5.D1.80.D1.81.D0.B8.D0.B8_06:54.2C_9_.D0.B0.D0.B2.D0.B3.D1.83.D1.81.D1.82.D0.B0_2014.E2.80.8E --Сухопаров Станислав (обс) 12:18, 26 сентября 2014 (UTC)Ответить

Cуть метода теперь вообще не изложена. Полагаю, что очень частный случай мог бы помочь понять суть. Самое сложное в том, что МНК можно изложить на нескольких языках, поэтому мне думается, что для знакомства можно взять максимально упрощенный вариант. И уже потом удовлетворить статистиков, физиков/инженеров и других пользователей метода, у которых переменные, матрицы и т. д. имеют свои термины. РоманСузи (обс) 16:23, 26 сентября 2014 (UTC)Ответить

Я не понял почему раздел, где именно сущность и описана переназвали на "Применение". Только потому, что там сущность раскрыта для двух разных сфер применения? Дело в том, что без сужения сферы применения описать сущность раскрыть нормально не получается. Ну если вы сможете - напишите. Общее только то, что ищутся значения каких-то неизвестных, минимизируя сумму квадратов отклонений неких функций этих неизвестных от неких "фактических" их значений. Вам такое описание "сущности" МНК о чем то говорит? К сожалению, вряд ли. Поэтому, чтобы сущность была раскрыта нужно говорить предметно - чето именно за неизвестные, что за функции и что за фактические значения. Вот и раскрыл сущность для двух предметных областей. Было бы мое желание - описывал бы только для случая регрессионного анализа (что я изначально и пытался сделать). Но мне справедливо указали на то, что МНК по существу сводится к "решению" переопределенных систем уравнений даже в случае регрессионного анализа. Поэтому я решил описать сущность и для этого базового случая и для важнейшего (по моему мнению) случая - регрессионного анализа. Если уж так хочется переназвать, то можно на крайний случай "Сущность и применение", но даже этот вариант мне не очень. Считаю, что там описана сущность. Что касается того, чтобы начать с самого простого - не вижу никакой разницы - суть от этого легче не раскрывается. Может быть легче воспринимается - но это вопрос вкуса и подхода к изложению. Простой случай можно привести в качестве примера - будет то же самое. Кстати там пример приведен, просто если есть желание раскрыть например, для случая простейшей регрессии поподробнее - пожалуйста. (но спойлер все равно не помешает)MyWikiNik (обс) 15:40, 27 сентября 2014 (UTC)Ответить
Поменял несколько структуру и текст. Можно конечно еще улучшить, но так вроде лучше. Сущность оставил в искходном смысле - по существу решения систем уравнений. Хотя когда излагаешь, начинаешь понимать, что первично все таки аппроксимация данных. Поэтому думаю можно еще более "сущностно" описать МНК MyWikiNik (обс) 16:52, 27 сентября 2014 (UTC)Ответить