Предельное правдоподобие

Функция предельного правдоподобия (англ. Marginal Likelihood Function) или интегрированное правдоподобие (англ. integrated likelihood) — это функция правдоподобия, в которой некоторые переменные параметры исключены. В контексте байесовской статистики, функция может называться обоснованностью (англ. evidence) или обоснованностью модели (англ. model evidence).

Концепция править

Если дано множество независимых одинаково распределённых точек данных $\mathbb {X} =(x_{1},\ldots ,x_{n}),$ , где параметр $x_{i}\sim p(x_{i}|\theta )$ согласно некоторому распределению вероятностей с параметром $\theta$ , где параметр $\theta$ сам по себе является случайной величиной, заданной распределением, то есть $\theta \sim p(\theta |\alpha )$ . Функция предельного правдоподобия в общем случае спрашивает, какова вероятность события $p(\mathbb {X} |\alpha )$ , где $\theta$ исключено (путём интегрирования по этому параметру):

p(\mathbb {X} |\alpha )=\int _{\theta }p(\mathbb {X} |\theta )\,p(\theta |\alpha )\ \operatorname {d} \!\theta

Определение выше сформулировано в контексте байесовской статистики. В классической (частотной^[en]) статистике концепция предельного правдоподобия появляется вместо этого в контексте совместного параметра $\theta =(\psi ,\lambda )$ , где $\psi$ является фактическим параметром, а $\lambda$ является мешающим параметром^[en]. Если существует распределение вероятности для $\lambda$ , часто желательно рассмотреть функцию правдоподобия лишь в терминах $\psi$ путём исключения $\lambda$ :

{\mathcal {L}}(\psi ;\mathbb {X} )=p(\mathbb {X} |\psi )=\int _{\lambda }p(\mathbb {X} |\lambda ,\psi )\,p(\lambda |\psi )\ \operatorname {d} \!\lambda

К сожалению, предельные правдоподобия, как правило, трудно вычислить. Точные решения известны для малого класса распределений, в частности, когда исключаемый параметр является сопряжённым априорным распределением распределения данных. В других случаях нужен некий метод численного интегрирования, либо общий метод интегрирования, такой как метод Гаусса или метод Монте-Карло, или метод, разработанный специально для статистических задач, такой как аппроксимация Лапласа, семплирование по Гиббсу/Метрополису, или EM-алгоритм.

Можно также применить вышеприведённые соглашения к отдельной случайной величине (точке данных) x, а не к множеству наблюдений. В контексте байесовской теории это эквивалентно априорному прогнозируемому распределению^[en] точки данных.

Приложения править

Сравнение байесовских моделей править

При сравнении байесовских моделей исключённые переменные являются параметрами для определённого типа модели, а оставшиеся переменные являются характеристиками модели. В этом случае предельное правдоподобие является вероятностью данных при заданном типе модели без предположения о значениях каких-либо конкретных параметров. Функция предельного правдоподобия для модели M равна

p(x|M)=\int p(x|\theta ,M)\,p(\theta |M)\,\operatorname {d} \!\theta

Именно в этом контексте обычно используется термин обоснованность модели. Эта величина важна, поскольку отношение апостериорных шансов для модели M₁ и другой модели M₂ вовлекает отношение функций предельного правдоподобия, так называемый коэффициент Байеса:

{\frac {p(M_{1}|x)}{p(M_{2}|x)}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(x|M_{1})}{p(x|M_{2})}}

что можно схематично сформулировать как

апостериорные шансы = априорные шансы × коэффициент Байеса

См. также править

Примечания править

Литература править

Charles S. Bos. A comparison of marginal likelihood computation methods // COMPSTAT 2002: Proceedings in Computational Statistics / W. Härdle, B. Ronz. — 2002. — С. 111—117.(Книга доступна как препринт на сайте: [1] Архивная копия от 3 августа 2020 на Wayback Machine)
David J.C. MacKay. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003. — ISBN 0521642981.