0.背景
有一组独立同分布的样本{x1,x2,...,xm}\{x_{1},x_{2},...,x_{m}\}{x1,x2,...,xm}服从高斯分布p(xi)=N(xi;μ,σ2)p(x_{i})=N(x_{i};\mu,\sigma^{2})p(xi)=N(xi;μ,σ2)。高斯概率密度函数如下：
p(xi)=12πσ2exp(−12(xi−μ)2σ2)p(x_{i})=\frac{1}{\sqrt{2\pi\sigma^{2}}}exp(-\frac{1}{2}\frac{(x_{i}-\mu)^{2}}{\sigma^{2}})p(xi)=2πσ21exp(−21σ2(xi−μ)2)
1.估计的偏差计算公式
bias(θ^m)=E(θ^m)−θbias(\hat\theta_m)=E(\hat\theta_m)-\thetabias(θ^m)=E(θ^m)−θ
其中θ\thetaθ是定义数据生成分布的θ\thetaθ的真实值，θ^m\hat\theta_mθ^m是m个样本计算得到的θ\thetaθ的估计值，E(x)E(x)E(x)是期望算子。
2.常用样本估计量的无偏估计
2.1 样本均值
样本均值:μ^m=1m∑i=1mxi\hat\mu_{m}=\frac{1}{m}\sum^{m}_{i=1}{x^{i}}μ^m=m1∑i=1mxi
判断样本均值是否有偏，计算下列公式：
bias(μ^m)=E(μ^m)−μ=E[1m∑i=1mxi]−μ=(1m∑i=1mE[xi])−μ=(1m∑i=1mμ)−μ=μ−μ=0bias(\hat\mu_m)=E(\hat\mu_m)-\mu\\=E[\frac{1}{m}\sum^{m}_{i=1}{x^{i}}]-\mu\\=(\frac{1}{m}\sum^{m}_{i=1}{E[x^{i}]})-\mu\\=(\frac{1}{m}\sum^{m}_{i=1}{\mu})-\mu\\=\mu-\mu\\=0bias(μ^m)=E(μ^m)−μ=E[m1∑i=1mxi]−μ=(m1∑i=1mE[xi])−μ=(m1∑i=1mμ)−μ=μ−μ=0
因此样本均值是高斯均值参数的无偏估计量。
2.2 样本方差
样本方差：σ^m2=1m∑i=1m(xi−μ^m)\hat\sigma^2_{m}=\frac{1}{m}\sum^{m}_{i=1}{(x^{i}-\hat\mu_{m})}σ^m2=m1∑i=1m(xi−μ^m)
判断样本方差是否有偏，计算下列公式：
bias(σ^m2)=E(σ^m2)−σm2=E[1m∑i=1m(xi−μ^m)]−σm2=m−1mσm2−σm2=−σ2mbias(\hat\sigma^2_{m})=E(\hat\sigma^2_{m})-\sigma^2_{m}\\=E[\frac{1}{m}\sum^{m}_{i=1}{(x^{i}-\hat\mu_{m})}]-\sigma^2_{m}\\=\frac{m-1}{m}\sigma^2_{m}-\sigma^2_{m}=\frac{-\sigma^2}{m}bias(σ^m2)=E(σ^m2)−σm2=E[m1∑i=1m(xi−μ^m)]−σm2=mm−1σm2−σm2=m−σ2
因此样本方差是高斯方差参数的有偏估计量。
3.为什么样本方差会是有偏估计值呢？
样本方差的无偏估计为σ^m2=1m−1∑i=1m(xi−μ^m)\hat\sigma^2_{m}=\frac{1}{m-1}\sum^{m}_{i=1}{(x^{i}-\hat\mu_{m})}σ^m2=m−11∑i=1m(xi−μ^m)
最关键的是，样本与实际并不相同。样本均值是在实际均值上下波动的一个值，其方差不为0。故需要修正方差引起的影响。反过来即是，若其方差为0，则是无偏估计。
参考文献
[1]深度学习（花书）5.4.2节
[2]/cx1165597739/article/details/93330524
如果觉得《样本估计量的有偏估计和无偏估计》对你有帮助，请点赞、收藏，并留下你的观点哦！
