Неравенство Крамера — Рао

Неравенство Краме́ра — Ра́о — неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Названо по именам шведского математика Харальда Крамера и индийского математика Кальямпуди Рао, но независимо от них устанавливалось также Фреше, Дармуа (фр. Georges Darmois), Айткеном (англ. Alexander Aitken) и Сильверстоуном (Harold Silverstone). Известно обобщение в квантовой теории оценивания — квантовое неравенство Крамера — Рао.

Формулировка

Для статистической модели $(X,\,B,\,P_{\theta })$, $x=(x_{1},\dots ,\,x_{n})$ — выборка размера $n$, — определена функция правдоподобия $L(\theta ,\,x)=L(\theta ,\;x_{1},\,x_{2},\dots \,x_{n})$ и выполнены следующие условия (условия регулярности):

• $L_{}^{}>0$ и везде дифференцируема по $\theta _{}^{}$;
• функция $U(\theta ,\,x)={\frac {\partial \ln L(\theta ,\,x)}{\partial \theta }}$ (функция вклада выборки) имеет конечную дисперсию (или, что то же, конечна информация Фишера);
• для любой статистики ${\widehat {\theta }}(x)$ с конечным вторым моментом имеет место равенство:

  ${\frac {\partial }{\partial \theta }}\int \limits _{X}{\widehat {\theta }}(x)\,L(\theta ,\,x)\,dx=\int \limits _{X}{\widehat {\theta }}(x)\,{\frac {\partial }{\partial \theta }}L(\theta ,\,x)\,dx$.

Если при этих условиях дана статистика ${\widehat {\theta }}(x)$, которая несмещённо оценивает дифференцируемую функцию $\tau (\theta )$, то справедливо следующее неравенство:

$\mathrm {D} _{\theta }{\big (}{\widehat {\theta }}(x){\big )}\geqslant {\frac {(\tau '(\theta ))^{2}}{nI(\theta )}}$, где $I(\theta )=M\left({\frac {d\ln L(\theta ,x)}{d\theta }}\right)^{2}$;

а равенство достигается тогда и только тогда, когда:

${\frac {d\ln L(\theta ,x)}{d\theta }}=a(\theta )({\widehat {\theta }}(x)-\tau (\theta ))$.

Здесь $I^{}(\theta )$ — количество информации по Фишеру в одном наблюдении, а $L(\theta ,t)$ — плотность распределения генеральной совокупности $X$ в случае непрерывной статистической модели и вероятность события $(X=t)$ в случае дискретной статистической модели.

Частный случай

Часто используется следующий частный случай, также называемый неравенством Крамера — Рао: если выполнены условия регулярности, а ${\widehat {\theta }}(x)$ — несмещённая оценка параметра $\theta$, то:

$\mathrm {D} _{\theta }\,{\widehat {\theta }}(x)\geqslant {\frac {1}{I_{n}(\theta )}}$.

Равенство в этом неравенстве достигается тогда и только тогда, когда ${\hat {\theta }}(x)-\theta =a(\theta )U(\theta ,x)$.

Применение

Оценка параметра называется эффективной, если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

Литература

• Математическая статистика, под ред. В. С. Зарубина, серия «Математика в техническом университете», вып. XVII, М., МГТУ, 2002