目录

前言相关证明无偏估计系数的标准差高斯-马尔可夫定理的优点同局限性

前言

最小二乘法(least squares)是我们很早就就接触过的一类方法，是广义线性回归的特殊情形——即一元线性回归。本文将假设误差遵从高斯——马尔可夫假设，证明为什么在该假设下，最小二乘法求得的系数是最佳的，证明无偏估计、并推导系数的的方差。

相关证明

最小二乘法数学式：

yi=xiTβ+εiy_i=x_i^{T}\beta + \varepsilon_iyi​=xiT​β+εi​ --(1)

xi=(1xi0xi1...xik),β=(b0b1...bk)x_i=\begin{pmatrix}1\\ x_{i0} \\ x_{i1} \\... \\x_{ik}\end{pmatrix}, \beta= \begin{pmatrix}b_0 \\ b_1 \\... \\ b_k\end{pmatrix}xi​=⎝⎜⎜⎜⎜⎛​1xi0​xi1​...xik​​⎠⎟⎟⎟⎟⎞​,β=⎝⎜⎜⎛​b0​b1​...bk​​⎠⎟⎟⎞​。

ε\varepsilonε为误差项，假设其服从高斯——马尔可夫假设，即均值为0，且与随机变量xix_ixi​无关，所有的误差的方差都相同且各自之间不相关且XXX为一个确定值。既有：

E(εi)=0E(\varepsilon_i) = 0E(εi​)=0, −(假设1)\ \ \ \ \ -(假设1)−(假设1)

E(ε∣x)=0E(\varepsilon|x)=0E(ε∣x)=0, −(假设2)\ \ \ \ \ -(假设2)−(假设2)

var(ε)=σ2Ivar(\varepsilon) = \sigma^2Ivar(ε)=σ2I。 −(假设3)\ \ \ \ \ -(假设3)−(假设3)

其中III为单位矩阵。

下面首先求β\betaβ的估计值β^\hat{\beta}β^​，并证明它是β\betaβ的无偏估计，先不考虑（1）式中的误差项，并将有所的样本带入上市，我们可得：

Y=XTβY = X^T\betaY=XTβ −(2)\ \ \ \ -(2)−(2)

其中Y=(y0,y1,...,yn)T,X=(x0,x1,...,xn)Y=(y_0, y_1, ..., y_n)^T, X=(x_0 , x_1,..., x_n)Y=(y0​,y1​,...,yn​)T,X=(x0​,x1​,...,xn​)

为了求出β\betaβ的值，首先将（2）式两边左乘XXX，然后在左乘(XXT)−1(XX^T)^{-1}(XXT)−1,即可推出

β^=(XXT)−1XY\hat\beta=(XX^T)^{-1}XYβ^​=(XXT)−1XY

无偏估计

下面证明β^\hat\betaβ^​是β\betaβ的无偏估计。

E(β^)=E((XXT)−1XY)=E((XXT)−1X(XTβ+ε))=E(β+(XXT)−1Xε)=β+E(β+(XXT)−1Xε)−(3)=β+E((XXT)−1X)∗E(ε)−(4)=β−(5)\begin{array}{rcl} E(\hat\beta)&=&\text{E}((XX^T)^{-1}XY)\\&=&E((XX^T)^{-1}X(X^T\beta + \varepsilon))\\&=&\text{E}(\beta+(XX^T)^{-1}X\varepsilon) \\&=&\beta+E(\beta+(XX^T)^{-1}X\varepsilon) \ \ \ \ \ \ -(3) \\&=&\beta + E((XX^T)^{-1}X)*E(\varepsilon) \ \ \ \ \ -(4) \\&=&\beta\ \ \ \ \ -(5) \end{array}E(β^​)​======​E((XXT)−1XY)E((XXT)−1X(XTβ+ε))E(β+(XXT)−1Xε)β+E(β+(XXT)−1Xε)−(3)β+E((XXT)−1X)∗E(ε)−(4)β−(5)​

上式(3)到(4)利用了假设2,(4)到(5)利用了假设3,证毕。

系数的标准差

下面求系数的标准差。

var(βˉ)=E((β^−β)(β^−β)T)=E((XXT)−1Xε∗εTXT(XXT)−1)−(5)=(XXT)−1XE(εεT)XT(XXT)−1−(6)=σ2(XXT)−1\begin{array}{rcl} var(\bar\beta)&=&E((\hat\beta-\beta)(\hat\beta-\beta)^T) \\&=&E((XX^T)^{-1}X\varepsilon*\varepsilon^TX^T(XX^T)^{-1})\ \ \ \ \ -(5) \\&=&(XX^T)^{-1}XE(\varepsilon\varepsilon^T) X^T(XX^T)^{-1}\ \ \ \ \ -(6) \\&=&\sigma^2(XX^T)^{-1}\end{array}var(βˉ​)​====​E((β^​−β)(β^​−β)T)E((XXT)−1Xε∗εTXT(XXT)−1)−(5)(XXT)−1XE(εεT)XT(XXT)−1−(6)σ2(XXT)−1​

从(5)式到(6式)的原因是我们假设XXX为确定值，对于每一个系数，它的标准差为：

SEi=σ2(XTX)ii−1SE_i=\sqrt{\sigma^2(X^TX)^{-1}_{ii}}SEi​=σ2(XTX)ii−1​​

现在用反证法来证明最小二乘估计是最佳无偏线性估计，假设存在比最小二乘估计更好的无偏线性估计βˉ=CY\bar\beta=CYβˉ​=CY， 由于CCC的任意性，设C=(XXT)−1X+DC=(XX^T)^{-1}X + DC=(XXT)−1X+D，其中DDD是(k+1)∗N(k+1)*N(k+1)∗N的非零矩阵，k+1k+1k+1为特征个数加上一个常量项,NNN为样本个数。

由假设条件， 是无偏估计，所以必须满足E(βˉ)=βE(\bar\beta)=\betaE(βˉ​)=β，而：

E(βˉ)=E(CY)=E(((XXT)−1X+D)(XTβ+ε))=E(((XXT)−1X+D)XTβ)+E((XXT)−1X+D)E(ε)=E(((XXT)−1X+D)XTβ)=β(I+DXT)\begin{array}{rcl}E(\bar\beta)&=&E(CY)\\&=&E(((XX^T)^{-1}X + D)(X^T\beta+\varepsilon)) \\&=&E(((XX^T)^{-1}X + D)X^T\beta) + E((XX^T)^{-1}X + D)E(\varepsilon) \\&=&E(((XX^T)^{-1}X + D)X^T\beta) \\&=&\beta(I + DX^T) \end{array}E(βˉ​)​=====​E(CY)E(((XXT)−1X+D)(XTβ+ε))E(((XXT)−1X+D)XTβ)+E((XXT)−1X+D)E(ε)E(((XXT)−1X+D)XTβ)β(I+DXT)​

所以DXT=0DX^T=0DXT=0。

既有：

var(βˉ)=E[[((XXT)−1X+D)Y−((XXT)−1XY−(XXT)−1Xε)][((XXT)−1X+D)Y−((XXT)−1XY−(XXT)−1Xε)T]]=E[(DY+(XXT)−1Xε)(DY+(XXT)−1Xε)T]=E(DYYTDT+DYεTXT(XXT)−1+(XXT)−1XεYTDT+(XXT)−1XεεTXT(XXT)−1)=σ2DDT+E(D(XTβ+ε)εTXT(XXT)−1)+E((XXT)−1Xε(XTβ+ε)TDT)+σ2E(XXT)−1=σ2DDT+E(DXTβεTXT∗(XXT)−1)+E(DεεTXT(XXT)−1)+E((XXT)XεβTXDT)+E((XXT)XεεTDT)+σ2E(XXT)−1=σ2DDT+σ2E(XXT)−1\begin{array}{rcl}var(\bar\beta)&=&E[[((XX^T)^{-1}X+D)Y - ((XX^T)^{-1}XY-(XX^T)^{-1}X\varepsilon)][((XX^T)^{-1}X+D)Y - ((XX^T)^{-1}XY-(XX^T)^{-1}X\varepsilon)^T]]\\ &=&E[(DY+(XX^T)^{-1}X\varepsilon)(DY+(XX^T)^{-1}X\varepsilon)^T]\\ &=&E(DYY^TD^T+DY\varepsilon^TX^T(XX^T)^{-1} + (XX^T)^{-1}X\varepsilon Y^TD^T+(XX^T)^{-1}X\varepsilon\varepsilon^TX^T(XX^T)^{-1})\\ &=&\sigma^2DD^T+E(D(X^T\beta+\varepsilon)\varepsilon^TX^T(XX^T)^{-1}) + E((XX^T)^{-1}X\varepsilon(X^T\beta+\varepsilon)^TD^T) + \sigma^2E(XX^T)^{-1}\\&=&\sigma^2DD^T + E(DX^T\beta\varepsilon^TX^T*(XX^T)^{-1}) + E(D\varepsilon\varepsilon^TX^T(XX^T)^{-1}) + E((XX^T)X\varepsilon \beta^TX D^T) + E((XX^T)X\varepsilon \varepsilon^T D^T) + \sigma^2E(XX^T)^{-1}\\ &=&\sigma^2DD^T + \sigma^2E(XX^T)^{-1} \end{array}var(βˉ​)​======​E[[((XXT)−1X+D)Y−((XXT)−1XY−(XXT)−1Xε)][((XXT)−1X+D)Y−((XXT)−1XY−(XXT)−1Xε)T]]E[(DY+(XXT)−1Xε)(DY+(XXT)−1Xε)T]E(DYYTDT+DYεTXT(XXT)−1+(XXT)−1XεYTDT+(XXT)−1XεεTXT(XXT)−1)σ2DDT+E(D(XTβ+ε)εTXT(XXT)−1)+E((XXT)−1Xε(XTβ+ε)TDT)+σ2E(XXT)−1σ2DDT+E(DXTβεTXT∗(XXT)−1)+E(DεεTXT(XXT)−1)+E((XXT)XεβTXDT)+E((XXT)XεεTDT)+σ2E(XXT)−1σ2DDT+σ2E(XXT)−1​

由于DDTDD^TDDT对角线上的值都是大于等于0的，因此βˉ\bar\betaβˉ​的协方差是大于等于β^\hat\betaβ^​的，与原假设相矛盾，也即β^\hat\betaβ^​是最佳的无偏估计，证毕。

高斯-马尔可夫定理的优点同局限性

高斯-马尔可夫定理的优点在于，它证明了简单的线性模型计算出的参数是最优的，而线性模型的最大优点在于计算简单、效率高，同时我们也可以检验出计算出的系数是否是显著的。它的局限性就在于它的几个强假设，比如XXX是确定的，且各个误差项都是独立的且均值都为0，但在实际情况中，上面的假设是比较强的，如XXX是会受到抽样的影响，在时序数据中，各个误差项并不独立。另一方面，高斯-马尔可夫定理针对的是线性情况，在非线性下它的结论不在成立。

参考文献：

[1]最小二乘法与高斯-马尔可夫定理

[2]高斯-马尔可夫定理-维基百科

[3]常用算法分析——最小二乘法

[4]最小二乘法的利与弊：高斯马尔科夫定理

如果觉得《最小二乘法——高斯-马尔可夫定理的证明 无偏估计 求系数的方差》对你有帮助，请点赞、收藏，并留下你的观点哦！