Предположим, что нам нужно оценить неконтролируемый параметр выборки
θ
{\displaystyle \theta }
x
{\displaystyle x}
f
{\displaystyle f}
выборочное распределение
x
{\displaystyle x}
f
(
x
|
θ
)
{\displaystyle f(x|\theta )}
x
{\displaystyle x}
θ
{\displaystyle \theta }
θ
↦
f
(
x
|
θ
)
{\displaystyle \theta \mapsto f(x|\theta )}
известна как функция правдоподобия , а оценка
θ
^
M
L
(
x
)
=
arg
max
θ
f
(
x
|
θ
)
{\displaystyle {\hat {\theta }}_{\mathrm {ML} }(x)=\arg \max _{\theta }f(x|\theta )}
как оценка максимального правдоподобия
θ
{\displaystyle \theta }
Теперь, предположим, что априорное распределение
g
{\displaystyle g}
θ
{\displaystyle \theta }
θ
{\displaystyle \theta }
случайную величину как в Байесовской статистике . Тогда апостериорное распределение
θ
{\displaystyle \theta }
θ
↦
f
(
x
|
θ
)
g
(
θ
)
∫
Θ
f
(
x
|
θ
′
)
g
(
θ
′
)
d
θ
′
{\displaystyle \theta \mapsto {\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}}
где
g
{\displaystyle g}
θ
{\displaystyle \theta }
Θ
{\displaystyle \Theta }
g
{\displaystyle g}
Теоремы Байеса .
Метод оценки максимального правдоподобия затем оценивает
θ
{\displaystyle \theta }
θ
^
M
A
P
(
x
)
=
arg
max
θ
f
(
x
|
θ
)
g
(
θ
)
∫
Θ
f
(
x
|
θ
′
)
g
(
θ
′
)
d
θ
′
=
arg
max
θ
f
(
x
|
θ
)
g
(
θ
)
{\displaystyle {\hat {\theta }}_{\mathrm {MAP} }(x)=\arg \max _{\theta }{\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}=\arg \max _{\theta }f(x|\theta )\,g(\theta )}
Знаменатель апостериорного распределения не зависит от
θ
{\displaystyle \theta }
θ
{\displaystyle \theta }
g
{\displaystyle g}
константа ).
Предположим, что у нас есть последовательность
(
x
1
,
…
,
x
n
)
{\displaystyle (x_{1},\dots ,x_{n})}
i.i.d.
N
(
μ
,
σ
v
2
)
{\displaystyle N(\mu ,\sigma _{v}^{2})}
случайных величин и априорное распределение
μ
{\displaystyle \mu }
N
(
0
,
σ
m
2
)
{\displaystyle N(0,\sigma _{m}^{2})}
μ
{\displaystyle \mu }
Функция, которую нужно максимизировать задана
π
(
μ
)
L
(
μ
)
=
1
2
π
σ
m
exp
(
−
1
2
(
μ
σ
m
)
2
)
∏
j
=
1
n
1
2
π
σ
v
exp
(
−
1
2
(
x
j
−
μ
σ
v
)
2
)
,
{\displaystyle \pi (\mu )L(\mu )={\frac {1}{\sqrt {2\pi \sigma _{m}}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{\sqrt {2\pi \sigma _{v}}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}
что эквивалентно минимизации
μ
{\displaystyle \mu }
∑
j
=
1
n
(
x
j
−
μ
σ
v
)
2
+
(
μ
σ
m
)
2
.
{\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu }{\sigma _{m}}}\right)^{2}.}
Таким образом, мы видим, что MAP оценка для μ задана
μ
^
M
A
P
=
σ
m
2
n
σ
m
2
+
σ
v
2
∑
j
=
1
n
x
j
.
{\displaystyle {\hat {\mu }}_{MAP}={\frac {\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v}^{2}}}\sum _{j=1}^{n}x_{j}.}
DeGroot, Morris H. Optimal Statistical Decisions. McGraw-Hill. 1970.Harold W. Sorenson . Parameter Estimation: Principles and Problems. Marcel Dekker. 1980. 
