最大似然估计MLE

MLE（Maximum Likelihood Estimation）就是利用已知的样本结果，反推最有可能(最大概率)导致这样结果的参数值的计算过程。直白来讲，就是给定了一定的数据，假定知道数据是从某种分布中随机抽取出来的，但是不知道这个分布具体的参数值，即"模型已定，参数未知"，MLE就可以用来估计模型的参数。MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。

假定盒子中有黑白两种球，数目未知，黑白球比例也未知，现只知道随机的10次有放回抽样情况，求盒子中抽取出白球的概率：

MLE求解过程：

编写似然函数(即联合概率函数)（似然函数：在样本固定的情况下，样本出现的概率与参数θ之间的函数）；对似然函数取对数，并整理；(一般都进行)求导数；解似然方程

上述例子解法

盒子中只有黑球和白球，假定白球的比例为p，那么黑球的比例为1-p。因为采取的是有放回的随机抽取，那么每次抽取出来的球的颜色服从同一独立分布情况，即每次抽取之间是独立互不影响的。

最大后验概率估计 MAP

最大后验概率估计（Maximum A Posteriori Estimation，MAP）和MLE一样，都是通过样本估计参数 θ 的值。在MLE中，是使似然函数P(x∣θ)最大的时候参数θ 的值，MLE中假设先验概率是等值的。而在MAP中，则是求 θ 使P(x∣θ)P(θ) 的值最大，这也就是要求θ值不仅仅是让似然函数最大，同时要求 θ 本身出现的先验概率也得比较大。可以认为MAP是贝叶斯算法的一种应用。

如果觉得《机器学习之最大似然估计（MLE）和最大后验概率估计（MAP）》对你有帮助，请点赞、收藏，并留下你的观点哦！