Производящая функция вероятностей

В теории вероятностей, производящая функция вероятностей дискретной случайной величины представляет собой степенной ряд функции вероятности случайной величины. Производящие функции вероятностей часто используются для краткого описания их последовательности вероятностей P(X=i) для случайного величины Х, с возможностью применить теорию степенных рядов с неотрицательными коэффициентами.

Определение

Одномерный случай

Если Х является дискретной случайной величиной, принимающей неотрицательные целочисленные значения {0,1, ...}, тогда производящая функция вероятностей от случайной величины Х определяется как

$G(z)=M(z^{X})=\sum _{x=0}^{\infty }p(x)z^{x}$

где p – это функция вероятности от Х. Заметим, что индексы обозначения G_X и p_X часто используются, чтобы подчеркнуть, что они относятся к конкретной случайной величине Х и ее распределению. Степенной ряд абсолютно сходится, по крайней мере, для всех комплексных чисел z, |z| ≤ 1; во многих примерах радиус сходимости больше.,c

Многомерный случай

Если X = (X₁,...,X_d) является дискретной случайной величиной, принимающей значения из d-мерной неотрицательной целочисленной решетки {0,1, ...}^d, тогда производящая функция вероятностей от Х определена как

$G(z)=G(z_{1},...,z_{d})=M(z_{1}^{X_{1}}...z_{d}^{X_{d}})=\sum _{x_{1},...,x_{d}=0}^{\infty }p(x_{1},...,x_{d})z_{1}^{x_{1}}...z_{d}^{x_{d}}$

где p – это функция вероятности от Х. Степенной ряд абсолютно сходится по крайней мере для всех комплексных векторов z = (z₁,...,z_d ) ∈ ℂ^d с максимумом {|z₁|,...,|z_d |} ≤ 1.)

Свойства

Степенные ряды

Производящие функции вероятностей подчиняются всем правилам степенных рядов с неотрицательными коэффициентами. В частности, G(1⁻) = 1, где G(1⁻) = lim_z→1G(z) снизу, поскольку сумма вероятностей должна равняться 1. Таким образом, радиус сходимости любой производящей функции вероятностей должен быть как минимум 1, по теореме Абеля для степенных рядов с неотрицательными коэффициентами.

Вероятности и ожидания

Следующие свойства позволяют сделать вывод о различных базовых величинах, связанных с $X$:

1. Функция вероятности от $X$ восстанавливается взятием производной $G$

$p(k)=P(X=k)={\frac {G^{(k)}(0)}{k!}}$

2. Из свойства 1 следует, что если случайные величины $X$ и $Y$ имеют равные производящие функции вероятностей ( $G_{X}$ = $G_{Y}$), тогда $p_{X}(k)=p_{Y}(k)$.То есть, если $X$ и $Y$ имеют одинаковые производящие функции вероятностей, то они имеют также и одинаковые распределения.

3. Нормализация функции плотности может быть выражена в терминах производящей функции

$M(1)=G(1^{-})=\sum _{i=0}^{\infty }p(i)=1$

Математическое ожидание X задается как

$M(X)=G'(1^{-})$

В более общем плане, k-ый факториальный момент,$E(X(X-1)...(X-k+1)))$ от X задается как

$M\left({\frac {X!}{(X-k)!}}\right)=G^{(k)}(1^{-}),k\geq 0$

Таким образом, дисперсия Х задается как

$D(X)=G''(1^{-})+G'(1^{-})-[G'(1^{-})]^{2}$

4. $G_{X}(e^{t})=M_{X}(t)$, где $X$ – это случайная величина. $G_{X}(t)$ - это производящая функция вероятностей и $M_{X}(t)$ – это производящая функция моментов.

Функции независимых случайных величин

Производящие функции вероятностей полезны в частности для работы с функциями независимых случайных величин. Например:

• Если X₁, X₂, ..., X_n представляет собой последовательность независимых (и не обязательно одинаково распределенных) случайных величин, и

$S_{n}=\sum _{i=1}^{n}a_{i}X_{i},$

где a_i – константы, тогда производящая функция вероятностей определяется как

$G_{S_{n}}(z)=M(z^{S_{n}})=M(z^{\sum _{i=1}^{n}a_{i}X_{i}})=G_{x_{1}}(z^{a_{1}})G_{x_{2}}(z^{a_{2}})...G_{x_{n}}(z^{a_{n}})$

Например, если

$S_{n}=\sum _{i=1}^{n}X_{i},$

тогда производящая функция вероятностей, G_Sn(z), определяется как

$G_{S_{n}}(z)=G_{x_{1}}(z)G_{x_{2}}(z)...G_{x_{n}}(z)$

Из этого также следует, что производящая функция разности двух независимых случайных переменных S = X₁ − X₂ определяется как

$G_{S}(z)=G_{X_{1}}(z)G_{X_{2}}(1/z)$

• Предположим, что N также является независимой, дискретной случайной величиной, принимающая неотрицательные целочисленные значения, с производящей функцией вероятностей G_N. Если X₁, X₂, ..., X_N независимы и одинаково распределены с общей производящей функцией вероятностей G_X, тогда

$G_{S_{N}}(z)=G_{N}(G_{X}(z))$

Это можно увидеть, используя закон полного математического ожидания следующим образом:

$G_{S_{N}}(z)=M(z^{S_{N}})=M(z^{\sum _{i=1}^{N}X_{i}})=M(M(z^{\sum _{i=1}^{N}X_{i}}|N))=M((G_{X}(z))^{N})=G_{N}(G_{X}(z))$

Этот последний факт полезен при изучении процессов Гальтона-Ватсона.

• Пусть снова N также является независимой, дискретной случайной величиной, принимающей неотрицательные целочисленные значения, с производящей функцией вероятностей G_N и плотностью вероятности f_i=P{N=i}. Если X₁, X₂, ..., X_n независимы, но неодинаково распределенные случайные величины, где G_Xi обозначает производящую функцию вероятностей от X_i, тогда

$G_{S_{N}}(z)=\sum _{i\geq 1}{f_{i}}\prod _{k=1}^{i}{G_{X_{i}}(z)}$

Для одинаково распределенных X_i это упрощает тождественность указанную ранее. В общем случае иногда полезно получить разложение S_N с помощью производящих функций вероятностей.

Примеры

• Производящая функция вероятностей для постоянной случайной величины принимающей одно значение c (P(X=c) = 1) есть

$G(z)=z^{c}$

• Производящая функция вероятностей для случайной величины с биномиальным распределением есть

$G(z)=[(1-p)+pz]^{n}$

Очевидно, что это n-кратное произведение производящих функции случайной величины с распределением Бернулли с параметром p

Таким образом производящая функция случайной величины бросания честной монеты

$G(z)=1/2+z/2$

• Производящая функция вероятностей для случайной величины с отрицательным биномиальным распределением с вероятностью успеха p, проводимой до r-го успеха

$G(z)={\left({\frac {p}{1-(1-p)z}}\right)}^{r}$

(Сходится при $\left|z\right|<{\frac {1}{1-p}}$ )

Очевидно, что это r-кратное произведение производящих функции случайных величин с геометрическим распределением с параметром (1-p)

• Производящая функция вероятностей для случайной величины с распределением Пуассона с параметром λ есть

$G(z)=e^{\lambda {(z-1)}}$

Ссылки

• Johnson, N.L.; Kotz, S.; Kemp, A.W. (1993) Univariate Discrete distributions (2nd edition). Wiley. ISBN 0-471-54897-9 (Section 1.B9)