Сопряжённое априорное распределение

Сопряжённое априорное распределение (англ. conjugate prior) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.

Рассмотрим задачу о нахождении распределения параметра $\theta$ (рассматриваемого как случайная величина) по имеющемуся наблюдению $x$ . По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности $p(\theta )$ и функции правдоподобия $p(x|\theta )$ по формуле:

\displaystyle p(\theta |x)={\frac {p(x|\theta )\,p(\theta )}{\int \limits _{{\text{range}}\;\theta }p(x|\theta )\,p(\theta )\,d\theta }}.

Если апостериорное распределение $p(\theta |x)$ принадлежит тому же семейству вероятностных распределений, что и априорное распределение $p(\theta )$ (т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия $p(x|\theta )$ . При этом распределение $p(\theta )$ называется сопряжённым априорным распределением к семейству функций правдоподобия $p(x|\theta )$ .

Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.

Пример

Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром $q\in [0,1]$ (вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:

p(q=x)={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}

где $\alpha$ и $\beta$ выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор $\alpha$ = 1 and $\beta$ = 1 даст равномерное распределение), а Β( $\alpha$ , $\beta$ ) — бета-функция, служащая здесь для нормализации вероятности.

Параметры $\alpha$ и $\beta$ часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).

Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:

P(s,f|q=x)={s+f \choose s}x^{s}(1-x)^{f},

p(q=x|s,f)={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},

Это апостериорное распределение также оказывается распределённым по закону бета-распределения.

Таблица сопряжённых семейств распределений

В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений $x_{1},x_{2},\ldots ,x_{n}$ . Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.

Дискретно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Бернулли	p	Бета	$\alpha ,\,\beta$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}$
Биномиальное	p	Бета	$\alpha ,\,\beta$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}$
Отрицательное биномиальное	p	Бета	$\alpha ,\,\beta$	$\alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i}$
Пуассона	λ	Гамма	$k,\,\theta$	$k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}$
Пуассона	λ	Гамма	$\alpha ,\,\beta$ ^[1]	$\alpha +\sum _{i=1}^{n}x_{i},\ \beta +n$
Мультиномиальное	p (вектор вероятностей)	Дирихле	${\vec {\alpha }}$	${\vec {\alpha }}+\sum _{i=1}^{n}{\vec {x}}^{\,(i)}$
Геометрическое	p₀ (вероятность)	Бета	$\alpha ,\,\beta$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$

Непрерывно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Равномерное	$U(0,\theta )$	Парето	$x_{m},\,k$	$\max\{\,x_{(n)},x_{m}\},\,k+n$
Экспоненциальное	λ	Гамма	$\alpha ,\,\beta$ ^[2]	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$
Нормальное с известной дисперсией σ²	μ	Нормальное	$\mu _{0},\,\sigma _{0}^{2}$	$\left.\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right)\right/\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right),\,\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}$
Нормальное с известным τ = 1/σ²	μ	Нормальное	$\mu _{0},\,\tau _{0}$	$\left.\left(\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}\right)\right/(\tau _{0}+n\tau ),\,\tau _{0}+n\tau$
Нормальное с известным средним μ	σ²	Scaled inverse chi-square	$\nu ,\,\sigma _{0}^{2}$	$\nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}$
Нормальное с известным средним μ	τ (= 1/σ²)	Гамма	$\alpha ,\,\beta$ ^[2]	$\alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}$
Нормальное с известным средним μ	σ²	Обратное гамма-распределение	$\mathbf {\alpha ,\,\beta }$	$\mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}$
Парето	k	Гамма	$\alpha ,\,\beta$	$\alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}$
Парето	x_m	Парето	$x_{0},\,k_{0}$	$x_{0},\,k_{0}-kn$ при условии $k_{0}>kn$ .
Гамма с известной α^[1]	β (inverse scale)	Гамма	$\alpha _{0},\,\beta _{0}$	$\alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}$