常用的方差(variance)、标准偏差(standard derivation)的内涵和计算方法有许多容易混淆之处，本文进行梳理。

统计量的定义

对于随机变量

对于随机变量 X X X，我们用期望定义了其统计量。这些统计量都是固定的常数。

均值：

μ = E [ X ] \mu = E\left[X\right] μ=E[X]

方差：

v a r = σ 2 = E [ ( X − μ ) 2 ] = E [ X 2 ] − μ 2 var=\sigma^2=E\left[ (X-\mu \right)^2]=E\left[X^2\right]-\mu^2 var=σ2=E[(X−μ)2]=E[X2]−μ2

标准偏差就是方差的平方根：

s t d = σ std=\sigma std=σ

对于已知样本集

如果全体样本集（polulation）的每一个样本 x 1 , x 2 . . . x N x_1,x_2...x_N x1​,x2​...xN​都能直接使用，可以直接计算出该样本集的各种统计量。

μ = 1 N ∑ i x i \mu = \frac{1}{N}\sum_ix_i μ=N1​i∑​xi​

v a r = 1 N ∑ i ( x i − μ ) 2 var=\frac{1}{N}\sum_i(x_i-\mu)^2 var=N1​i∑​(xi​−μ)2

s t d = v a r std=\sqrt{var} std=var ​

这样计算得到的方差常被称为全体方差(populationvariance)。

统计量的估计

有时候无法得知统计量的实际值：

对于随机变量，无法观测产生这个变量的参数，只能得到一系列随机的采样；对于数量巨大、甚至无穷多的样本集，我们无法使用全部样本进行计算，只能随机有放回地抽取一部分采样。

由于两种情况都包含有随机性，所以估计得到的统计量本身也是个随机变量，并非真实值。用上横线以示区分。

估计可以有不同方法，各有不同性质。

复习一下期望的性质。

E ( A + B ) = E A + E B E(A+B)=EA+EB E(A+B)=EA+EB, E ( A B ) ≠ E A ⋅ E B E(AB)\neq EA \cdot EB E(AB)​=EA⋅EB,

换言之：期望和线性运算可交换。

均值

对均值的估计直观而统一：

μ ˉ = 1 N ∑ i x i \bar{\mu} = \frac{1}{N}\sum_ix_i μˉ​=N1​i∑​xi​

这个估计是无偏的（估计的期望等于真实值）：

E [ μ ˉ ] = 1 N ∑ i E [ x i ] = E [ X ] = μ E\left[\bar{\mu}\right]=\frac{1}{N}\sum_iE\left[x_i\right]=E\left[X\right]=\mu E[μˉ​]=N1​i∑​E[xi​]=E[X]=μ

方差

方差涉及到二次项，情况复杂一些。

有偏方差

v a r ˉ = 1 N ∑ i ( x i − μ ˉ ) 2 \bar{var}=\frac{1}{N}\sum_i(x_i-\bar{\mu})^2 varˉ=N1​i∑​(xi​−μˉ​)2

这个估计是有偏的。

证明提示：把 μ ˉ \bar{\mu} μˉ​写成 x i x_i xi​的求和形式。利用以下两个性质：

E [ x i 2 ] = σ 2 + μ 2 E\left[x_i^2\right]=\sigma^2+\mu^2 E[xi2​]=σ2+μ2

E [ x i x j ] = E [ x i ] E [ x j ] = μ 2 E\left[x_i x_j\right]=E\left[x_i\right]E\left[x_j\right]=\mu^2 E[xi​xj​]=E[xi​]E[xj​]=μ2

具体推导引自wiki：

这样的估计方差总是小于真实方差。

估计方差和真实方差之间差距为 1 N σ 2 \frac{1}{N}\sigma^2 N1​σ2，采样越多，偏差越小。

换句话说，总有你想不到的幺蛾；见识越少，幺蛾越大。

不过，如果随机变量/样本集的均值已知，则类似的方差估计是无偏的：

v a r ˉ = 1 N ∑ i ( x i − μ ) 2 \bar{var}=\frac{1}{N}\sum_i(x_i-\mu)^2 varˉ=N1​i∑​(xi​−μ)2

证明提示： μ \mu μ是常数，可以直接和期望交换。

无偏方差

对有偏方差进行矫正：

v a r ˉ = 1 N − 1 ∑ i ( x i − μ ˉ ) 2 \bar{var}=\frac{1}{N-1}\sum_i(x_i-\bar{\mu})^2 varˉ=N−11​i∑​(xi​−μˉ​)2

标准偏差

标准偏差的问题更为复杂。从定义上来说 s t d ˉ = v a r ˉ \bar{std}=\sqrt{\bar{var}} stdˉ=varˉ ​。但由于开根号不是线性运算，不能和期望交换。

无矫正(uncorrected)标准偏差

喜闻乐见的直观形式：

s t d ˉ = 1 N ∑ i ( x i − μ ˉ ) 2 \bar{std}=\sqrt{\frac{1}{N}\sum_i(x_i-\bar{\mu})^2} stdˉ=N1​i∑​(xi​−μˉ​)2 ​

这个估计当然是有偏的（比真实值小），不过是一致的(consistent，随着N增大依概率收敛到真值)。

矫正(corrected)标准偏差

通过对无偏方差开根号得来：

s t d ˉ = 1 N − 1 ∑ i ( x i − μ ˉ ) 2 \bar{std}=\sqrt{\frac{1}{N-1}\sum_i(x_i-\bar{\mu})^2} stdˉ=N−11​i∑​(xi​−μˉ​)2 ​

需要注意的是，由于平方根不能和期望交换，这个估计依然是有偏的，不过比前一个估计好一些。

考察这个估计的期望：

E [ s t d ˉ ] = E [ v a r ˉ ] E\left[\bar{std}\right]=E\left[\sqrt{\bar{var}}\right] E[stdˉ]=E[varˉ ​]

再考虑交换运算的式子：

E [ v a r ˉ ] = v a r = s t d \sqrt{E\left[ \bar{var} \right]}=\sqrt{var}=std E[varˉ] ​=var ​=std

由于期望是线性运算，开根号是凹函数，根据延森不等式：

E [ s t d ˉ ] = E [ v a r ˉ ] < E [ v a r ˉ ] = v a r = s t d E\left[\bar{std}\right]=E\left[\sqrt{\bar{var}}\right]<\sqrt{E\left[ \bar{var} \right]}=\sqrt{var}=std E[stdˉ]=E[varˉ ​]<E[varˉ] ​=var ​=std

这个估计仍然比真实的标准偏差小。具体小多少，要依数据分布而定。

无偏标准偏差

不同随机变量的无偏标准偏差估计具有不同形式，具体参看这里。

一个近似的估计是将前一方法中的分母 N − 1 N-1 N−1增大为 N − 1.5 N-1.5 N−1.5：

s t d ˉ = 1 N − 1.5 ∑ i ( x i − μ ˉ ) 2 \bar{std}=\sqrt{\frac{1}{N-1.5}\sum_i(x_i-\bar{\mu})^2} stdˉ=N−1.51​i∑​(xi​−μˉ​)2 ​

如果觉得《【数学】方差/标准差的各种估计辨析》对你有帮助，请点赞、收藏，并留下你的观点哦！