Сопряжённое априорное распределение

Сопряжённое априорное распределение (англ. conjugate prior) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.

Рассмотрим задачу о нахождении распределения параметра (рассматриваемого как случайная величина) по имеющемуся наблюдению . По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности и функции правдоподобия по формуле:

Если апостериорное распределение принадлежит тому же семейству вероятностных распределений, что и априорное распределение (т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия . При этом распределение называется сопряжённым априорным распределением к семейству функций правдоподобия .

Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.

ПримерПравить

Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром   (вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:

 

где   и   выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор   = 1 and   = 1 даст равномерное распределение), а Β(  ) — бета-функция, служащая здесь для нормализации вероятности.

Параметры   и   часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).

Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:

 
 

Это апостериорное распределение также оказывается распределённым по закону бета-распределения, но лишь с немного другими параметрами, чем у априорного распределения.

Таблица сопряжённых семейств распределенийПравить

В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений  . Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.

Дискретно-распределённые функции правдоподобияПравить

Функция правдоподобия Параметр Сопряжённое семейство распределений Гиперпараметры априорного распределения Гиперпараметры апостериорного распределения
Бернулли p Бета    
Биномиальное p Бета    
Отрицательное биномиальное p Бета    
Пуассона λ Гамма    
Пуассона λ Гамма   [1]  
Мультиномиальное p (вектор вероятностей) Дирихле    
Геометрическое p0 (вероятность) Бета    

Непрерывно-распределённые функции правдоподобияПравить

Функция правдоподобия Параметр Сопряжённое семейство распределений Гиперпараметры априорного распределения Гиперпараметры апостериорного распределения
Равномерное   Парето    
Экспоненциальное λ Гамма   [2]  
Нормальное
с известной дисперсией σ2
μ Нормальное    
Нормальное
с известным τ = 1/σ2
μ Нормальное    
Нормальное
с известным средним μ
σ2 Scaled inverse chi-square    
Нормальное
с известным средним μ
τ (= 1/σ2) Гамма  [2]  
Нормальное
с известным средним μ
σ2 Обратное гамма-распределение    
Парето k Гамма    
Парето xm Парето     при условии  .
Гамма
с известной α[1]
β (inverse scale) Гамма    

ПримечанияПравить

  1. 1 2 Параметризация гамма-распределения с параметрами: θ = 1/β and k = α.
  2. 1 2 beta_rate

ЛитератураПравить

  • DeGroot, Morris H. Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published in 1970.) ISBN 0-471-68029-X.