Критерий согласия Колмогорова

Критерий согласия Колмогорова предназначен для проверки гипотезы о принадлежности выборки некоторому закону распределения, то есть проверки того, что эмпирическое распределение соответствует предполагаемой модели.

Критерий однородности Смирнова используется для проверки гипотезы о принадлежности двух независимых выборок одному закону распределения, то есть о том, что два эмпирических распределения соответствуют одному и тому же закону.

Эти критерии носят имена математиков Андрея Николаевича Колмогорова и Николая Васильевича Смирнова.

Критерий Смирнова о проверке гипотезы об однородности двух эмпирических законов распределения является одним из наиболее часто используемых непараметрических критериев.

Описание править

Если в критерии $\chi ^{2}$ сопоставляются частоты двух распределений отдельно по каждому разряду, то здесь сопоставляются сначала частоты по первому разряду, потом по сумме первого и второго разрядов, потом по сумме первого, второго и третьего разрядов и т. д. Таким образом, каждый раз сопоставляются накопленные к данному разряду частоты.

Если различия между двумя распределениями существенны, то в какой-то момент разность накопленных частот достигнет критического значения, и различия можно будет признать статистически достоверными. В формулу критерия $\lambda$ включается эта разность. Чем больше эмпирическое значение $\lambda$ , тем более существенными являются различия.

Статистика критерия Колмогорова править

Пусть эмпирическая функция распределения (ЭФР) $F_{n}$ , построенная по выборке $X=\left(X_{1},\;\ldots ,\;X_{n}\right)$ , имеет вид:

F_{n}(x)={\frac {1}{n}}\sum _{i=1}^{n}I_{X_{i}\leqslant x},

где $I_{X_{i}\leqslant x}$ указывает, попало ли наблюдение $X_{i}$ в область $(-\infty ,\;x]$ :

I_{X_{i}\leqslant x}={\begin{cases}1,&X_{i}\leqslant x;\\0,&X_{i}>x.\end{cases}}

Выполняется проверка того, является ли выборка порождённой случайной величиной $\xi$ с функцией распределения $F(x)$ . Статистика критерия для эмпирической функции распределения $F_{n}(x)$ определяется следующим образом:

D_{n}=\sup _{x\in \mathbb {R} }|F_{n}(x)-F(x)|,

где под $\sup$ понимается супремум функции ${|F_{n}(x)-F(x)|}$ .

Распределение статистики Колмогорова править

Обозначим нулевую гипотезу $H_{0}$ , как гипотезу о том, что выборка подчиняется распределению $F(X)\in C^{1}(\mathbb {X} )$ . Тогда по теореме Колмогорова для введённой статистики справедливо:

\forall t>0\colon \lim _{n\to \infty }P({\sqrt {n}}D_{n}\leqslant t)=K(t)=\sum _{j=-\infty }^{+\infty }(-1)^{j}e^{-2j^{2}t^{2}}=\theta _{4}{\big (}e^{-2t^{2}}{\big )},

где $\theta _{4}(q)$ -- Тета-функция Якоби. Учтём, что критерий имеет правостороннюю критическую область.

Принятие решения по критерию Колмогорова.
Если статистика

{\sqrt {n}}D_{n}

превышает процентную точку распределения Колмогорова

K_{\alpha }

заданного уровня значимости

\alpha

, то нулевая гипотеза

H_{0}

(о соответствии закону

F(x)

) отвергается. Иначе гипотеза принимается на уровне

\alpha

.

Если $\alpha$ достаточно близко к 1, то $K_{\alpha }$ можно приблизительно рассчитать по формуле:

K_{\alpha }\approx {\sqrt {-{\frac {1}{2}}\ln {\frac {1-\alpha }{2}}}}.

Асимптотическая мощность критерия равна 1.

Обозначим теперь за нулевую гипотезу $H_{0}$ гипотезу о том, что две исследуемые выборки подчиняются одному распределению случайной величины $\xi \colon F(X)\in C^{1}(\mathbb {X} )$ .

Теорема Смирнова.
Пусть

F_{1,\;n}(x),\;F_{2,\;m}(x)

— эмпирические функции распределения, построенные по независимым выборкам объёмом

n

и

m

случайной величины

\xi

. Тогда, если

F(x)\in C^{1}(\mathbb {X} )

, то

\forall t>0\colon \lim _{n,\;m\to \infty }P\left({\sqrt {\frac {nm}{n+m}}}D_{n,\;m}\leqslant t\right)=K(t)=\sum _{j=-\infty }^{+\infty }(-1)^{j}e^{-2j^{2}t^{2}}

, где

D_{n,\;m}=\sup _{x}|F_{1,\;n}-F_{2,\;m}|

.

Теорема Смирнова позволяет построить критерий для проверки двух выборок на однородность.

Принятие решения по критерию Смирнова.
Если статистика

{\sqrt {\frac {nm}{n+m}}}D_{n,\;m}

превышает квантиль распределения Колмогорова

K_{\alpha }

для заданного уровня значимости

\alpha

, то нулевая гипотеза

H_{0}

(об однородности выборок) отвергается. Иначе гипотеза принимается на уровне

\alpha

.

См. также править

Примечание 1 править

В критерии Колмогорова предпочтительней использование статистики с поправкой Большева в следующем виде ${\sqrt {n}}D_{n}+1/(6{\sqrt {n}})$ . Распределение данной статистики уже не так сильно зависит от объема выборки. Зависимостью её распределения от объема выборки $n$ можно пренебречь при $n>25$ .

Примечание 2 править

Классический критерий Колмогорова предназначен для проверки простых гипотез. Если проверяется гипотеза о согласии наблюдаемой выборки с законом, все параметры которого известны, то критерий Колмогорова является свободным от распределения: неважно, с каким законом проверяется согласие. Если проверяемая гипотеза справедлива, предельным распределением статистики Колмогорова является распределение Колмогорова $K(t)$ .

Всё меняется при проверке сложных гипотез, когда по анализируемой выборке оцениваются параметры теоретического закона, согласие с которым проверяется. При проверке сложных гипотез свобода от распределения теряется. При проверке сложных гипотез и справедливости проверяемой гипотезы распределения статистик непараметрических критериев согласия (и критерия Колмогорова) зависят от ряда факторов: от вида наблюдаемого закона, соответствующего проверяемой гипотезе; от типа оцениваемого параметра и числа оцениваемых параметров; в некоторых случаях от конкретного значения параметра (например, в случае семейств гамма- и бета-распределений); от метода оценивания параметров. Различия в предельных распределениях той же самой статистики при проверке простых и сложных гипотез настолько существенны, что пренебрегать этим ни в коем случае нельзя.