最小方差无偏估计
2.1 无偏估计量
无偏估计意味着估计量的平均值为未知参数的真值。如果
E[θ^]=θ,a<θ<bE[\hat{\theta}]=\theta, a<\theta<b E[θ^]=θ,a<θ<b
说明估计量θ^\hat{\theta}θ^是无偏估计量。
例：白色高斯噪声中DC电平的无偏估计量
观测值x[n]=A+w[n]n=0,1,...,N−1x[n]=A+w[n]\ n=0,1,...,N-1x[n]=A+w[n]n=0,1,...,N−1
观测值中的参数A即所需估计的DC电平。取合理的估计量为:
A^=1N∑n=0N−1x[n]\hat{A}=\frac{1}{N}\sum_{n=0}^{N-1}x[n] A^=N1n=0∑N−1x[n]
估计量的期望为：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ E(\hat{A})&=E[…
无偏估计量只是保证估计量的平均值为真值，相比于有偏估计量不存在系统误差。但是在多个无偏估计量的情况下，可以用多个估计量的平均获得更好的估计。
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \hat{\theta}&=…
所以求平均的估计越多，其均值会收敛到真值，且估计量的方差越小。
但是如果估计量为有偏估计E(θ^)=θ+b(θ)E(\hat{\theta})=\theta+b(\theta)E(θ^)=θ+b(θ)，那么无论对多少估计量求平均，都不会收敛到真值。
估计量的偏差：b(θ)=E(θ^)−θb(\theta)=E(\hat{\theta})-\thetab(θ)=E(θ^)−θ
为了从多个无偏估计量中选择出最佳估计量，可以采用一些最佳准则。
均方误差(mean square error,MSE)表示的是估计量偏离真值的平方偏差的统计平均值，由估计量的方差和偏差导致的误差组成。 mse(θ^)=E[(θ^−θ)2]=var(θ^)+[E(θ^)−θ]2=var(θ^)+b2(θ)mse(\hat{\theta}) =E[(\hat{\theta}-\theta)^2] \\ =var(\hat{\theta})+[E(\hat{\theta})-\theta]^2\\=var(\hat{\theta})+b^2(\theta) mse(θ^)=E[(θ^−θ)2]=var(θ^)+[E(θ^)−θ]2=var(θ^)+b2(θ) 但是如果让均方误差对修正常数求导，寻找出最小均方误差时可以发现估计量修正常数与真值有关，说明估计量是不可实现的。因此
MVU的存在性：MVU表明它的方差相对其它所有估计量的方差是最小的，如果存在一个估计量的方差小于MVU的，说明MVU不存在。针对下图，可以说a图存在MVU，而b图不存在MVU。
求最小方差无偏估计量MVU
即使MVU存在，一般也很难求出。下面给出了一些可能求出的方法：
确定Cramer-Rao下限(CRLB)，然后检查估计量是否满足CRLB；应用Rao-Blackwell-lehmann-Scheffe(RBLS)定理；进一步限制估计不仅是无偏，而且还是线性的，在这些限制中找出MVU。
扩展到适量参数
如果θ=[θ1,θ2,...,θp]\pmb\theta=[\theta_1,\theta_2,...,\theta_p]θθθ=[θ1,θ2,...,θp]是未知参数矢量，那么估计量θ^=[θ^1,θ^2,...,θ^p]\hat{\pmb\theta}=[\hat\theta_1,\hat\theta_2,...,\hat\theta_p]θθθ^=[θ^1,θ^2,...,θ^p]如果满足
E(θ^i)=θiE(\hat\theta_i)=\theta_i E(θ^i)=θi
则说明估计量为无偏估计，那么该估计量具有E(θ^)=θE(\hat{\pmb\theta})=\pmb\thetaE(θθθ^)=θθθ。同样对于MVU，对该参数矢量中任意一个参数都有var(θ^i)var(\hat\theta_i)var(θ^i)都是最小的。
如果觉得《统计信号处理：(估计二) 最小方差无偏估计》对你有帮助，请点赞、收藏，并留下你的观点哦！
