广义最小二乘估计

最小二乘估计的使用前提总是假设线性回归模型的误差是等方差且不相关的，即Cov(e)=σ2ICov(e)=\sigma ^{2}ICov(e)=σ2I，虽然在许多情况下，这个假定可以认为近似地成立，但有时我们的确要考虑假定不成立时的情况。

为了讨论的简单，我们假定以下的的Σ\SigmaΣ（正常情况下是有参数的）是完全已知的。

我们讨论的模型：{y=Xβ+e,(∗)E(e)=0,Cov(e)=σ2Σ\begin{cases}y=X\beta +e,\quad(*)\\E(e)=0,\\Cov(e)=\sigma^2\Sigma \end{cases}⎩⎪⎨⎪⎧​y=Xβ+e,(∗)E(e)=0,Cov(e)=σ2Σ​

(注：Σ\SigmaΣ是正定矩阵，故存在Pn×nP_{n\times n}Pn×n​使得Σ=P′ΛP\Sigma=P'\Lambda PΣ=P′ΛP,并记(Σ−12)2=Σ−1(\Sigma^{-\frac{1}{2}})^2=\Sigma^{-1}(Σ−21​)2=Σ−1)

用Σ−12\Sigma^{-\frac{1}{2}}Σ−21​左乘(∗)(*)(∗)式，得Σ−12y=Σ−12Xβ+Σ−12e\Sigma^{-\frac{1}{2}}y=\Sigma^{-\frac{1}{2}}X\beta +\Sigma^{-\frac{1}{2}}eΣ−21​y=Σ−21​Xβ+Σ−21​e记Z=Σ−12y,U=Σ−12Xβ,ε=Σ−12eZ=\Sigma^{-\frac{1}{2}}y, U= \Sigma^{-\frac{1}{2}}X\beta,\varepsilon=\Sigma^{-\frac{1}{2}}eZ=Σ−21​y,U=Σ−21​Xβ,ε=Σ−21​e,即得到了以个满足基本假定的新模型(我们可以计算新模型期望和协方差阵，发现确实满高斯-马尔可夫假定计算协方差时用到公式Cov(AX)=ACov(X)A′Cov(AX)=ACov(X)A'Cov(AX)=ACov(X)A′): \quad Z=U+εZ=U+\varepsilonZ=U+ε, 因而我们可以得到新模型的最小二乘估计β∗=(U′U)−1U′Z=(X′Σ−1X)−1X′Σ−1y\beta^*=(U'U)^{-1}U'Z=(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}yβ∗=(U′U)−1U′Z=(X′Σ−1X)−1X′Σ−1y一般地，我们就称β∗\beta^*β∗为广义最小二乘估计。

定理:\quad对于线性回归模型(∗)(*)(∗)的广义最小二乘估计β∗\beta^*β∗，有以下性质：

E(β∗)=βE(\beta^*)=\betaE(β∗)=βCov(β∗)=σ2(X′Σ−1X)−1Cov(\beta^*)=\sigma^2(X'\Sigma^{-1}X)^{-1}Cov(β∗)=σ2(X′Σ−1X)−1对于任意cn×1c_{n\times1}cn×1​向量，c′β∗c'\beta^*c′β∗为c′βc'\betac′β的唯一的最小方差无偏估计。（说明对于一般线性回归模型(∗),(*),(∗),广义最小二乘估计总是优于普通最小二乘估计的）

如果觉得《广义最小二乘估计》对你有帮助，请点赞、收藏，并留下你的观点哦！