统计信号估计 (二) 最小方差无偏估计量（MUV）的线性模型

MVU表示最小方差无偏估计，下面将推导一个线性模型的MVUE，即最小方差无偏估计量。

线性模型可以表示为：

x=Hθ+w\bf{x = H\theta + w} x=Hθ+w

其中 θ\thetaθ 为待估参数，均为向量。当然，这里的MVU估计量也可以被称为BLUE，即最佳线性无偏估计量。

我们假设 w∼N(0,C)\bf{w} \sim N(0,C)w∼N(0,C) ，要根据克拉美罗界限求得最小方差无偏估计量，依据公式：

∂ln⁡p(x;θ)∂θ=I(θ)(g(x)−θ)\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}=I(\theta)(g(x)-\theta)∂θ∂lnp(x;θ)​=I(θ)(g(x)−θ)

可以得到克拉美罗界限I(θ)I(\theta)I(θ)，以及最小方差无偏估计量 θ^=g(x)\hat{\theta} = g(x)θ^=g(x)，所以我们的目的就是求∂ln⁡p(x;θ)∂θ\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}∂θ∂lnp(x;θ)​。

p(x;θ)=1(2π)N2det(C)12exp(−12(x−Hθ)TC−1(x−Hθ))p(\bf{x;\theta}) = \frac{1}{ (2\pi)^{\frac{N}{2}}det(C)^{\frac{1}{2}}}exp(-\frac{1}{2}(x-H\theta)^{T}C^{-1}(x-H\theta))p(x;θ)=(2π)2N​det(C)21​1​exp(−21​(x−Hθ)TC−1(x−Hθ))

∂ln⁡p(x;θ)∂θ=−12∂∂θ[xTC−1x+(Hθ)TC−1(Hθ)−(Hθ)TC−1x−xTC−1(Hθ)]=−12[2HTC−1Hθ−2HTC−1x]=−HTC−1Hθ+HTC−1x=(HTC−1H)((HTC−1H)−1HTC−1x−θ)\begin{aligned} \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} &= -\frac{1}{2}\frac{\partial}{\partial \theta}[x^TC^{-1}x +(H \theta)^TC^{-1}(H \theta) - (H \theta)^TC^{-1}x-x^TC^{-1}(H \theta)] \\ &= - \frac{1}{2}[2 H^TC^{-1}H\theta -2H^TC^{-1}x] \\ &=-H^T C^{-1}H\theta + H^TC^{-1}x \\ &=(H^TC^{-1}H)((H^TC^{-1}H)^{-1}H^TC^{-1}x - \theta) \end{aligned}∂θ∂lnp(x;θ)​​=−21​∂θ∂​[xTC−1x+(Hθ)TC−1(Hθ)−(Hθ)TC−1x−xTC−1(Hθ)]=−21​[2HTC−1Hθ−2HTC−1x]=−HTC−1Hθ+HTC−1x=(HTC−1H)((HTC−1H)−1HTC−1x−θ)​

得到 θ^=g(x)=(HTC−1H)−1HTC−1x\hat{\theta} = g(x) = (H^TC^{-1}H)^{-1}H^TC^{-1}xθ^=g(x)=(HTC−1H)−1HTC−1x

var(θ)=I(θ)−1=(HTC−1H)−1var(\theta) = I(\theta)^{-1} = (H^TC^{-1}H)^{-1}var(θ)=I(θ)−1=(HTC−1H)−1

这个结论与最小二乘法相同。

如果觉得《统计信号估计 (二) 最小方差无偏估计量（MUV）的线性模型》对你有帮助，请点赞、收藏，并留下你的观点哦！