Дилемма смещения–дисперсии: различия между версиями

|подпись=Функция (красный цвет) аппроксимирована с помощью [[Радиально-базисная функция|радиально-базисных функций]] (РБФ) (синий цвет). На каждом графике показано несколько испытаний. Для каждого испытания в качестве тренировочного набора использовались некоторые точки из выборки с шумом (верхний график). При широком разбросе (график 2) смещение высоко, РБФ не могут полностью аппроксимировать функцию (особенно центральную яму), но дисперсия между испытаниями мала. По мере увеличения разброса (графики 3 и 4) смещение возрастает, синяя кривая ближе аппроксимирует красную кривую. Однако дисперсия между испытаниями растёт. На нижнем графике приближённое значение в точке x=0 сильно зависят от расположения точек выборки.}}

 

* [[Несмещённая оценка |''Смещение'']] — это ошибка, возникающая в результате ошибочного предположения в [[алгоритм]]е обучения. В результате большого смещения алгоритм может пропустить связь между признаками и выводом (недообучение).

* ''[[Дисперсия случайной величины|Дисперсия]]'' — это ошибка чувствительности к малым отклонениям в тренировочном наборе. При высокой дисперсии алгоритм может как-то трактовать случайный {{не переведено 5|Шум (обработка сигналов)|шум||Noise (signal processing)}} в тренировочном наборе, а не желаемый результат ([[переобучение]]).

</math>

 

Разложение смещения–дисперсии образует концептуальный базис для методов [[Регуляризация (математика)|регуляризации]] регрессии, таких как {{не переведено 5|Lasso|||Lasso (statistics)}} и [[Метод регуляризации Тихонова|гребневая регрессия]]. Методы регуляризации вводят смещение в решение регрессии, которая уменьшает дисперсию значительно ближе к решению {{не переведено 5|обычный метод наименьших квадратов|||ordinary least squares}} (ОМНК, {{lang-en|Ordinary Least Squares}}, OLS). Хотя решение ОМНК даёт несмещённую оценку регрессии, решения с меньшей дисперсией, полученные путём регуляризации, обеспечивают превосходную среднеквадратичную ошибку.

 

Разложение смещение–дисперсия первоначально было сформулировано для [[Линейная регрессия|линейной регрессии методом наименьших квадратов]]. Для случая [[Задача классификации|классификации]] с [[Функция потерь|0-1 функцией потерь]] (доля неправильно классифицированных), можно найти похожее разложение{{sfn|Domingos|2000}}{{sfn|Valentini, Dietterich|2004|с=725–775}}. Альтернативно, если задача классификации может быть сформулирована как {{не переведено 5|вероятностная классификация|||probabilistic classification}}, ожидание квадрата ошибки предсказанных вероятностей по отношению к истинным вероятностям может быть разложено как и ранее{{sfn|Manning, Raghavan, Schütze|2008|с=308–314}}.

 

где <math>N_1(x), \dots, N_k(x)</math> являются {{mvar|k}} ближайшими соседями {{mvar|x}} в тренировочном наборе. Смещение (первый член) является монотонно возрастающей функцией от {{mvar|k}}, в то время как дисперсия (второй член) убывает по мере роста {{mvar|k}}. Фактически, при «разумных предположениях» оценщика смещения ближайшего соседа (1-NN) полностью обращается в нуль, когда размер тренировочного множества стремится к бесконечности{{sfn|Geman, Bienenstock, Doursat|1992|с=1–58}}.

 

В то время как дилемма смещения-дисперсии широко обсуждается в контексте обучения машин, она была проверена в контексте [[Когнитивистика|когнитивных способностей человека]], прежде всего [[Гигеренцер, Герд|Гердом Гигеренцером]] с соавторами. Они утверждают, что (см. ссылки ниже) человеческий мозг решает дилемму в случае разреженных плохо описанных тренировочных наборов, полученных в результате личного опыта, путём использования эвристики высокого смещения/низкой дисперсия. Это отражает факт, что подход с нулевым смещением имеет плохую обобщаемость к новым ситуациям, а также беспричинно предполагает точное знание состояния мира. Получающаяся эвристика относительно проста, но даёт лучшее соответствие широкому разнообразию ситуаций{{sfn|Gigerenzer, Brighton|2009|с=107–143}}.