Достаточная статистика для параметра определяющая некоторое семейство распределений вероятности — статистика такая, что условная вероятность выборки при данном значении не зависит от параметра То есть выполняется равенство:

Достаточная статистика таким образом, содержит в себе всю информацию о параметре , которая может быть получена на основе выборки X. Поэтому понятие достаточной статистики широко используется в теории оценки параметров.

Наиболее простой достаточной статистикой является сама выборка , однако действительно важными являются случаи, когда размерность достаточной статистики значительно меньше размерности выборки, в частности, когда достаточная статистика выражается лишь несколькими числами.

Достаточная статистика называется минимально достаточной, если для каждой достаточной статистики T существует неслучайная измеримая функция g, что почти всюду.

Теорема факторизации править

Теорема факторизации даёт способ практического нахождения достаточной статистики для распределения вероятности. Она даёт достаточные и необходимые условия достаточности статистики и утверждение теорем иногда используется в качестве определения.

Пусть   — некоторая статистика, а   — условная функция плотности или функция вероятности (в зависимости от вида распределения) для вектора наблюдений X. Тогда   является достаточной статистикой для параметра  , тогда и только тогда, когда существуют такие измеримые функции   и  , что можно записать:

 

Доказательство править

Ниже приведено доказательство для частного случая, когда распределение вероятностей является дискретным. Тогда   — Функция вероятности.

Пусть данная функция имеет факторизацию, как в формулировке теоремы, и  

Тогда имеем:

 

Отсюда видим, что условная вероятность вектора X при заданном значении статистики   не зависит от параметра и соответственно   — достаточная статистика.

Наоборот можем записать:

 

Из приведённого выше имеем, что первый множитель правой части не зависит от параметра   и его можно взять за функцию   из формулировки теоремы. Другой множитель является функцией от   и   и его можно взять за функцию   Таким образом, получена необходимая декомпозиция, что завершает доказательство теоремы.

Примеры править

Распределение Бернулли править

Пусть   — последовательность случайных величин, что равны 1 с вероятностью   и равны 0 с вероятностью   (то есть, имеют распределение Бернулли). Тогда

 

если взять  

Тогда данная статистика является достаточной согласно теореме факторизации, если обозначить

 
 

Распределение Пуассона править

Пусть   — последовательность случайных величин с распределением Пуассона. Тогда

 


где  

Данная статистика является достаточной согласно теореме факторизации, если обозначить

 
 

Равномерное распределение править

Пусть   — последовательность равномерно распределённых случайных величин   . Для этого случая

 

Отсюда следует, что статистика   является достаточной.

Нормальное распределение править

Для случайных величин   с нормальным распределением   достаточной статистикой будет  

Свойства править

  • Для достаточной статистики T и биективного отображения   статистика   тоже является достаточной.
  • Если   — статистическая оценка некоторого параметра     — некоторая достаточная статистика и   то   является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть выполняется неравенство
 
причём равенство достигается лишь когда   является измеримой функцией от T. (Теорема Рао — Блэквелла — Колмогорова)
  • Из предыдущего получается, что оценка может быть оптимальной в смысле среднеквадратичного отклонения лишь когда она является измеримой функцией минимальной достаточной статистики.
  • Если статистика   является достаточной и полной (то есть, из того, что   следует, что  ), то произвольная измеримая функция от неё является оптимальной оценкой своего математического ожидания.

См. также править

Литература править

  • Kholevo, A.S. (2001), «Sufficient statistic», in Hazewinkel, Michiel, Encyclopaedia of Mathematics, Springer, ISBN 978-1-55608-010-4
  • Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.
  • Леман Э. Теория точечного оценивания. — М.: Наука, 1991. — 448 с. — ISBN 5-02-013941-6.