样本方差与无偏估计
样本方差问题背景S2S^2S2的近似作用为什么使用Xˉ\bar XXˉ替代后，分母是1n\frac{1}{n}n1？无偏估计无偏性有效性一致性小结参考文章：如何理解无偏估计量？ by 马同学
样本方差
问题背景
首先，对于随机变量XXX的期望为μ\muμ，其方差为σ2\sigma^2σ2。
如果已知随机变量X的期望为μ\muμ，那么可以如下计算方差σ2\sigma^2σ2：
↑Case 1: 分布和期望均已知
不过，对于上式，首先需要知道XXX的具体分布。因而我们实践中常常采样之后，常采用如下方式近似估计方差：
↑Case 2: 分布未知，期望已知
然而，实际中我们对期望也是未知的（Case 3），只能通过样本得到均值Xˉ\bar XXˉ，那么我们可以通过样本方差公式计算S2S^2S2：
S2S^2S2的近似作用
首先，我们从Case 2开始分析。
对于某一σ2=1.42=1.96\sigma^2=1.4^2=1.96σ2=1.42=1.96（未知），期望μ\muμ已知的正态分布，随机采样，并通过下图公式估计σ2\sigma^2σ2：
上图只是随机采样的一种情况。多采样几次，S2S^2S2会围绕σ2\sigma^2σ2上下波动。因此，这样估计在可接受范围内。很容易算出：
同时，根据中心极限定理，S2S^2S2采样的均值会服从已知期望平方μ\muμ的分布。
这也就是所谓的无偏估计量。
为什么使用Xˉ\bar XXˉ替代后，分母是1n\frac{1}{n}n1？
对于更常见的Case 3，未知更多，只能得出平均值Xˉ\bar XXˉ。
对于某次采样而言，当Xˉ=μ\bar X = \muXˉ=μ时，下式取得最小值：
但是，不同于Case 2，对于Case 3 下的每次采样，很难避免样本均值偏离期望这一情况的发生。
因此，如果我们用Xˉ\bar XXˉ 近似 μ\muμ，有：
所以，如果用下面这个式子来估计：
S2S^2S2采样的均值会服从一个偏离真实期望平方μ\muμ的分布，且倾向于低估μ\muμ。
下面援引计算偏移量的推导：
因为
E[(Xˉ−μ)]2=[1n∑(Xi−μ)]2=1n[1n∑(Xi−μ)2]=1nσ2E[(\bar X-\mu)]^2=[\frac{1}{n}\sum(X_i-\mu)]^2=\frac{1}{n}[\frac{1}{n}\sum(X_i-\mu)^2]=\frac{1}{n}\sigma^2E[(Xˉ−μ)]2=[n1∑(Xi−μ)]2=n1[n1∑(Xi−μ)2]=n1σ2
这就是偏移量。
所以
进行一下调整，得到无偏估计下的样本方差：
无偏估计
无偏性
例如平均值，就是对样本的一个不错的估计，因为它属于无偏估计。
可以发现，不同采样得到的Xˉ\bar XXˉ是围绕μ\muμ左右波动的。
而前面提到的样本方差，如果用下式去估计方差：
则会产生偏差，属于有偏估计。这种偏差像是瞄准镜一直歪斜，是系统性的。
有效性
简单的说，就是估计量越靠近目标，效果越好。这个“靠近”也可以用方差来衡量（注意这里的衡量和上面的样本方差估计是两回事）。
有效估计和无偏估计是不相关的：
假设有10个样本，估计样本均值，下面两个都是无偏估计量，只是后者可能更有效：
若只优先考量有效性，无偏和有偏估计没有优劣之分：
一致性
在前面介绍的样本方差的例子中，如果采用
那么对于偏差1nσ2\frac{1}{n}\sigma^2n1σ2，可以看到，随着采样个数n的增加，这个偏差会越来越小。那么这个估计就是“一致”的。如果样本数够多，其实这种有偏但是一致的估计量也是可以采用的。
小结
判断一个估计量“好坏”，可以考虑以下几个方面：
无偏性有效性一致性
如果觉得《样本方差与无偏估计》对你有帮助，请点赞、收藏，并留下你的观点哦！
