极大似然估计与贝叶斯估计的理解

1 参数估计2 极大似然估计（MLE）3 贝叶斯估计4 极大验后估计（MAP）参考

1 参数估计

参数估计（Parameter Estimation）是根据从总体中抽取的样本来估计总体分布中包含的未知参数的方法。包括：最小二乘估计（Least Square Estimation）、极大似然估计（Maximum Likelihood Estimation，MLE）贝叶斯估计（Bayesian Estimation）等。

参数估计问题可以描述为：总体XXX的概率密度函数为f(x∣θ)f(x|\theta )f(x∣θ)，根据观测到的一组样本(x1,x2,...,xn)∈R(x_{1},x_{2},...,x_{n})\in\mathbb R(x1​,x2​,...,xn​)∈R，来估计总体参数θ\thetaθ的过程。

对于函数f(x∣θ)f(x|\theta )f(x∣θ)，有两个输入：xxx表示某一具体的数据，θ\thetaθ表示模型的参数。

（1）如果θ\thetaθ是已知确定的，xxx是变量，f(x∣θ)f(x|\theta )f(x∣θ)叫概率函数（Probability Function），它描述对于不同的样本点xxx，其出现的概率是多少。

（2）如果xxx是已知确定的，θ\thetaθ是变量，f(x∣θ)f(x|\theta )f(x∣θ)叫似然函数（Likelihood Function），它描述对于不同的模型参数θ\thetaθ，出现xxx这个样本点的概率是多少。

此外，在 A. Tarantola《Inverse Problem Theory and Methods for Model Parameter Estimation》一书中，关于似然函数的解释为：Likelihood function is the probability of the data given a certain value of the parameters.

2 极大似然估计（MLE）

极大似然估计是频率学派的观点，认为待估参数θ\thetaθ是客观存在的，当θ=θ^MLE\theta=\hat\theta_{MLE}θ=θ^MLE​时，观测样本(x1,x2,...,xn)(x_{1},x_{2},...,x_{n})(x1​,x2​,...,xn​)出现的可能性最大.

极大似然估计可描述为：

L(θ∣x)=f(x∣θ)=f(x1,x2,...,xn∣θ)=∏i=1nf(xi∣θ)θ^MLE=argmaxθL(θ∣x)L(\theta|x)=f(x|\theta)=f(x_{1},x_{2},...,x_{n}|\theta)=\prod_{i=1}^{n}f(x_{i}|\theta) \\ \hat\theta_{MLE}=\mathop{argmax}\limits_{\theta}L(\theta|x) L(θ∣x)=f(x∣θ)=f(x1​,x2​,...,xn​∣θ)=i=1∏n​f(xi​∣θ)θ^MLE​=θargmax​L(θ∣x)

因此，极大似然估计的目标为：求使得f(x∣θ)=maxf(x|\theta)=maxf(x∣θ)=max的 θ\thetaθ 的值。即：在x=x0x=x_{0}x=x0​时，求一个θ0\theta_{0}θ0​，使得x=x0x=x_{0}x=x0​发生的概率最大。

3 贝叶斯估计

贝叶斯估计是贝叶斯学派的观点，认为待估参数θ\thetaθ也是随机变量，因此只能根据观测样本估计参数θ\thetaθ的分布。

在贝叶斯估计中，利用了先验信息、观测信息来得到后验信息。先验信息是在未获取观测数据时对总体参数θ\thetaθ已有的了解。贝叶斯公式可表示为：

P(θ∣x)=P(θ)P(x∣θ)P(x)P(\theta|x)=\frac{P(\theta)P(x|\theta)}{P(x)} P(θ∣x)=P(x)P(θ)P(x∣θ)​

贝叶斯估计的数学描述为：

π(θ∣x)=f(x∣θ)π(θ)m(x)=f(x∣θ)π(θ)∫f(x∣θ)π(θ)dθ\pi(\theta|x)=\frac{f(x|\theta)\pi(\theta)}{m(x)}=\frac{f(x|\theta)\pi(\theta)}{\int{f(x|\theta)\pi(\theta)}d\theta} π(θ∣x)=m(x)f(x∣θ)π(θ)​=∫f(x∣θ)π(θ)dθf(x∣θ)π(θ)​

式中π(θ)\pi(\theta)π(θ)为参数θ\thetaθ的的先验分布，表示对参数θ\thetaθ的主观认识，是非样本信息。π(θ∣x)\pi(\theta|x)π(θ∣x)为参数θ\thetaθ的后验分布。因此，贝叶斯估计可认为是利用样本信息去校正先验分布，得到后验分布。

根据参数的后验概率密度分布π(θ∣x)\pi(\theta|x)π(θ∣x)可以估计参数θ\thetaθ的值（或特征）。主要有：

（1）最大后验概率（MAP）

θ^MAP=argmaxθπ(θ∣x)\hat\theta_{MAP}=\mathop{argmax}\limits_{\theta}\pi(\theta|x) θ^MAP​=θargmax​π(θ∣x)

（2）后验均值（期望）

θˉ=E(π(θ∣x))\bar{\theta}=E(\pi(\theta|x)) θˉ=E(π(θ∣x))

通常取后验分布的期望作为参数的估值。除此之外，还可以根据后验分布π(θ∣x)\pi(\theta|x)π(θ∣x)计算参数的协方差矩阵、一维边缘概率密度等。通常需要借助采样方法进行求解（如MCMC等）。

4 极大验后估计（MAP）

在贝叶斯估计中，如果考虑采用极大似然估计的思想，令后验分布极大化求解θ\thetaθ，作为参数的估计值，这就是极大后验估计。

极大验后估计可描述为：

θ^MAP=argmaxθπ(θ∣x)=argmaxθf(x∣θ)π(θ)m(x)=argmaxθf(x∣θ)π(θ)\hat\theta_{MAP}=\mathop{argmax}\limits_{\theta}\pi(\theta|x)=\mathop{argmax}\limits_{\theta}\frac{f(x|\theta)\pi(\theta)}{m(x)}=\mathop{argmax}\limits_{\theta}f(x|\theta)\pi(\theta) θ^MAP​=θargmax​π(θ∣x)=θargmax​m(x)f(x∣θ)π(θ)​=θargmax​f(x∣θ)π(θ)

因此，极大验后估计的目标为：求使得π(θ∣x)=max\pi(\theta|x)=maxπ(θ∣x)=max的 θ\thetaθ 的值。即：在x=x0x=x_{0}x=x0​时，求一个θ0\theta_{0}θ0​，使得θ=θ0\theta=\theta_{0}θ=θ0​发生的概率最大。

贝叶斯估计只能根据观测样本估计参数θ\thetaθ的分布。但计算非常困难。因此，作为贝叶斯估计的一种近似解，MAP利用了从样本中无法获得的先验信息。

参考

/p/61593112

/Gou_Hailong/article/details/121404135

/u011508640/article/details/72815981

如果觉得《参数估计——极大似然估计与贝叶斯估计》对你有帮助，请点赞、收藏，并留下你的观点哦！