本文为《Steven M. Kay, Fundamentals of Statistical Signal Processing:Estimation Theory》一书的第2章。
文章目录
1、无偏估计量2、最小方差准则3、最小方差无偏估计的存在性4、寻找最小方差无偏估计5、扩展到矢量参数1、无偏估计量
对未知参数进行估计,得到估计量。而所谓无偏估计,是指估计量的均值,等于未知参数的真值,即对未知参数θ\thetaθ,有
E(θ^)=θ,a<θ<b,(2.1)\tag{2.1} {\rm E}( \hat \theta)=\theta,\quad a<\theta<b, E(θ^)=θ,a<θ<b,(2.1)那么估计量是无偏的。
真值是确定的,估计量却是随机的,每次估计得到一个样本。因此无偏估计就是,估计量的均值等于真值。
【例2.1】AWGN中DC电平的无偏估计。
考虑观测
x[n]=A+w[n]n=0,1,…,N−1x[n]=A+w[n]\quad n=0,1,\ldots,N-1 x[n]=A+w[n]n=0,1,…,N−1其中AAA是要估计的参数,w[n]w[n]w[n]是AWGN。参数AAA可以取−∞<A<∞-\infty<A<\infty−∞<A<∞上的任何值。那么,x[n]x[n]x[n]的一个合理估计是
A^=1N∑n=0N−1x[n],(2.2)\tag{2.2} \hat A=\frac{1}{N}\sum_{n=0}^{N-1}x[n], A^=N1n=0∑N−1x[n],(2.2)即样本的均值。进一步,我们有
E(A^)=E[1N∑n=0N−1x[n]]=1N∑n=0N−1E(x[n])=A\begin{aligned} {\rm E}(\hat A)&={\rm E}\left[\frac{1}{N}\sum_{n=0}^{N-1}x[n]\right]\\ &=\frac{1}{N}\sum_{n=0}^{N-1}{\rm E}(x[n])\\ &=A \end{aligned} E(A^)=E[N1n=0∑N−1x[n]]=N1n=0∑N−1E(x[n])=A因此,用样本均值作为估计量,是无偏的。
The restriction that E(θ^)=θ{\rm E}(\hat \theta)=\thetaE(θ^)=θ for all θ\thetaθ is an important one. Letting θ^=g(x)\hat \theta=g(\bf x)θ^=g(x), where x=[x[0],x[1],…,x[N−1]]T{\bf x}=\left[ x[0],x[1],\ldots,x[N-1]\right]^Tx=[x[0],x[1],…,x[N−1]]T, it asserts that
E(θ^)=∫g(x)p(x;θ)dx=θforallθ.(2.3)\tag{2.3} {\rm E}(\hat \theta)=\int g({\bf x})p({\bf x};\theta)d{\bf x}=\theta\quad {\rm for \ all\ \theta}. E(θ^)=∫g(x)p(x;θ)dx=θforallθ.(2.3)It is possible, however, that (2.3) may hold for some values of θ\thetaθ and not others, as the next example illustrate.
Example 2.2-Biased Estimator for DC Level in White Noise
Consider again Example 2.1 but with the modified sample mean estimator
Aˇ=12N∑n=0N−1x[n].\check{A}=\frac{1}{2N}\sum_{n=0}^{N-1}x[n]. Aˇ=2N1n=0∑N−1x[n].Then
E(Aˇ)=12A{=A,ifA=0≠A,ifA≠0.{\rm E}(\check{A})=\frac{1}{2}A\left\{\begin{aligned} =A,\ {\rm if}A=0\\ \ne A,\ {\rm if}A\ne 0. \end{aligned}\right. E(Aˇ)=21A{=A,ifA=0=A,ifA=0.It is seen that (2.3) holds for the modified estimator only for A=0A=0A=0. Clearly, Aˇ\check{A}Aˇ is a biased estimator.
估计量是无偏的并不一定意味着它是一个好的估计量。这只能够保证,从平均上看能够得到真实值。另一方面,有偏估计量意味着存在系统误差,而系统误差是不应该出现的。持续的偏差总会使得估计结果很差。例如,当几个估计量被混合时,无偏特性具有重要意义(见习题2.4)。有时可能可以得到同一个参数的多种估计,例如{θ^1,θ^2,…,θ^n}\{\hat \theta_1,\hat \theta_2,\ldots,\hat \theta_n\}{θ^1,θ^2,…,θ^n}。合理的步骤是把这些估计合并,希望能够通过对他们进行平均来得到更好的估计,即
θ^=1n∑i=1nθ^i.(2.4)\tag{2.4} \hat \theta=\frac{1}{n}\sum_{i=1}^{n}\hat \theta_i. θ^=n1i=1∑nθ^i.(2.4)假定所有的估计器都是无偏的,方差相等,彼此不相关,因此有
E(θ^)=θ{\rm E}(\hat \theta)=\theta E(θ^)=θ以及
var(θ^)=1n2∑i=1nvar(θ^i)=var(θ^1)n\begin{aligned} {\rm var}(\hat \theta)&=\frac{1}{n^2}\sum_{i=1}^{n}{\rm var}(\hat \theta_i)\\ &=\frac{{\rm var}(\hat \theta_1)}{n} \end{aligned} var(θ^)=n21i=1∑nvar(θ^i)=nvar(θ^1)因此求平均的统计量个数越多,则方差越小。最终,如果n→∞n\to \inftyn→∞,则θ^→θ\hat \theta\to \thetaθ^→θ。 然而,如果估计器是有偏的,即E(θ^)=θ+b(θ){\rm E}(\hat \theta)=\theta+b(\theta)E(θ^)=θ+b(θ),则
E(θ^)=1n∑i=1nE(θ^i)=θ+b(θ).\begin{aligned} {\rm E}(\hat \theta)&=\frac{1}{n}\sum_{i=1}^{n}{\rm E}(\hat \theta_i)\\ &=\theta+b(\theta). \end{aligned} E(θ^)=n1i=1∑nE(θ^i)=θ+b(θ).因此,不论对多少个估计器进行平均,θ^\hat \thetaθ^都不会收敛到真实值,如Figure 2.2所示。这里,通常将
b(θ)=E(θ^)−θb(\theta)={\rm E}(\hat \theta)-\theta b(θ)=E(θ^)−θ定义为估计器的偏差(bias)。
2、最小方差准则
在寻找最优估计时,我们需要采取一些最优化原则。很自然的,我们可以采用均方误差(mean square error,MSE),即
mse(θ^)=E[(θ^−θ)2].(2.5)\tag{2.5} {\rm mse}(\hat \theta)={\rm E}\left[(\hat \theta-\theta)^2\right]. mse(θ^)=E[(θ^−θ)2].(2.5)这个参数表述了估计量与真实值之间平方偏差的统计均值的大小。遗憾的是,采用这种自然准则的估计器是无法实现的,因为这个估计不能写成数据的函数。下面我们来看如何理解这个问题,我们将mse重写为
mse(θ^)=E{[(θ^−E(θ^)+(E(θ^)−θ)]2}=var(θ^)+b2(θ)(2.6)\tag{2.6} \begin{aligned} {\rm mse}(\hat \theta)&={\rm E}\left\{\left[\left(\hat \theta-{\rm E}(\hat \theta \right)+\left({\rm E}(\hat \theta) -\theta\right) \right]^2\right\}\\ &={\rm var}(\hat \theta)+b^2(\theta) \end{aligned} mse(θ^)=E{[(θ^−E(θ^)+(E(θ^)−θ)]2}=var(θ^)+b2(θ)(2.6)这意味着,MES的误差时由于估计量的方差,以及偏差所引起的。例如,对于Example 2.1,考虑修正的估计
Aˇ=a1N∑n=0N−1x[n]\check A=a\frac{1}{N}\sum_{n=0}^{N-1}x[n] Aˇ=aN1n=0∑N−1x[n]这里的aaa为某常数。下面我们来确定使得MSE最小的aaa值。由于E(Aˇ)=aA{\rm E}(\check A)=aAE(Aˇ)=aA,且var(Aˇ)=a2σ2/N{\rm var}(\check A)=a^2\sigma^2/Nvar(Aˇ)=a2σ2/N,我们从(2.6)可以得到
mse(Aˇ)=a2σ2N+(a−1)2A2{\rm mse}(\check A)=\frac{a^2\sigma^2}{N}+(a-1)^2A^2 mse(Aˇ)=Na2σ2+(a−1)2A2对aaa求微分,又
dmse(Aˇ)da=2aσ2N+2(a−1)A2\frac{d{\rm mse}(\check A)}{da}=\frac{2a\sigma^2}{N}+2(a-1)A^2 dadmse(Aˇ)=N2aσ2+2(a−1)A2令其等于零,可以得到aaa的最优值为
aopt=A2A2+σ2/Na_{\rm opt}=\frac{A^2}{A^2+\sigma^2/N} aopt=A2+σ2/NA2遗憾的是,从上面式子中可以看出,aaa的最优值取决于未知参数AAA,因此估计器是不可实现的。回想一下,之所以估计值与AAA有关,是因为(2.6)中,偏差项与真实值有关。因此看起来,只要是与偏差有关的准则,都会导致估计器不可实现。尽管通常来说确实如此,偶尔也能找到可实现的最小MSE估计器[Bibby and Touterburg 1977, Rao 1973, Stoica and Moses 1990]。
从实际角度看,需要放弃最小MSE。另外一种方法是将偏差设为零,并找到最小化方差的估计,这种估计称为最小方差无偏估计(minimum variance unbiased, MUV)。从(2.6)可以看出,无偏差估计的MSE就是方差。
最小化无偏估计的方差,也能够使得估计误差θ^−θ\hat \theta-\thetaθ^−θ的PDF更加集中在零点(问题2.7),因而出现大的估计误差的概率将变小。
3、最小方差无偏估计的存在性
下面我们要讨论的问题是,MUV是否存在,或者说对于所有θ\thetaθ取值来说,是否都存在具有最小方差的无偏估计。图2.3中给出了两种可能情况。如果有三个无偏估计,其方差如图2.3a所示,显然θ^3\hat \theta_3θ^3为MVU估计。然而,对于2.3b中情况,没有MUV估计。这是由于若θ≤θ0\theta \le \theta_0θ≤θ0,则θ^2\hat \theta_2θ^2较好,而如果$θ>θ0\theta > \theta_0θ>θ0,则θ^3\hat \theta_3θ^3更好。在第一种情况中,为了强调对于所有θ\thetaθ的取值而言,方差都是最小的,有时将θ^3\hat \theta_3θ^3称为一致最小方差无偏估计。下面的例子将说明,通常来说,并非总存在MUV。
Example 2.3 不存在MUV估计的例子
如果PDF的形式随着θ\thetaθ而改变,那么可以预计最佳估计也随之改变。假定我们有两个独立的观测x[0]x[0]x[0]和x[1]x[1]x[1],其PDF为
x[0]∼N(θ,1)x[1]∼{N(θ,1)ifθ≥0N(θ,2)ifθ<0\begin{aligned} x[0]&\sim{\mathcal N}(\theta,1)\\ x[1]&\sim\left\{ \begin{aligned} {\mathcal N}(\theta,1)\ {\rm if}\ \theta\ge 0\\ {\mathcal N}(\theta,2)\ {\rm if}\ \theta< 0\\ \end{aligned}\right. \end{aligned}x[0]x[1]∼N(θ,1)∼{N(θ,1)ifθ≥0N(θ,2)ifθ<0 显然
θ^1=12(x[0]+x[1])θ^1=23x[0]+13x[1])\hat \theta_1=\frac{1}{2}(x[0]+x[1])\\ \hat \theta_1=\frac{2}{3}x[0]+\frac{1}{3}x[1]) θ^1=21(x[0]+x[1])θ^1=32x[0]+31x[1])为无偏估计。为了计算方差,我们可以得到
var(θ^1)=14{var(x[0])+var(x[1])}var(θ^2)=49var(x[0])+19var(x[1])\begin{aligned} {\rm var}(\hat \theta_1)=\frac{1}{4}\left\{{\rm var}(x[0])+{\rm var}(x[1])\right\}\\ {\rm var}(\hat \theta_2)=\frac{4}{9}{\rm var}(x[0])+\frac{1}{9}{\rm var}(x[1]) \end{aligned}var(θ^1)=41{var(x[0])+var(x[1])}var(θ^2)=94var(x[0])+91var(x[1])因此有
var(θ^1)={1836ifθ≥02736ifθ<0{\rm var}(\hat \theta_1)=\left\{ \begin{aligned} \frac{18}{36}\quad {\rm if}\ \theta\ge 0\\ \frac{27}{36}\quad {\rm if}\ \theta< 0\\ \end{aligned}\right. var(θ^1)=⎩⎪⎨⎪⎧3618ifθ≥03627ifθ<0以及
var(θ^2)={2036ifθ≥02436ifθ<0{\rm var}(\hat \theta_2)=\left\{ \begin{aligned} \frac{20}{36}\quad {\rm if }\ \theta\ge 0\\ \frac{24}{36}\quad {\rm if}\ \theta< 0\\ \end{aligned}\right. var(θ^2)=⎩⎪⎨⎪⎧3620ifθ≥03624ifθ<0方差如图2.4所示。显然,在这两种估计中,不存在MVU估计。
4、寻找最小方差无偏估计
即使存在MVU估计,我们也可能求不出来。没有一种“摇动曲柄”,总能求解出估计量的方法。在后面几章中,我们讨论几种可能的方法,包括:
确定Cramer-Rao下界(CRLB),并检视是否有某些估计能够满足(第3、4章)。应用Rao-Blackwell-Lehmann-Scheffe(RBLS)定理(第5章)。进一步将估计器的类型限定为不仅是无偏的,而且是线性的。随后对于所限定的类型,找到最小方差估计(第6章)。
方法1和2可能会得到MVU估计,而方法3只有估计量在数据中是线性时,才会得到MVU估计。
根据CRLB,我们知道对于任何无偏估计,方差一定大于或等于某个给定的值,如Figure 2.5所示。如果对于所有的θ\thetaθ值,存在方差等于CRLB的估计,则这个估计一定时MVU估计。这种情况下,根据CRLB理论可以立即得到估计。有可能不存在方差等于下界的估计,然而此时有可能仍然存在MVU估计,如Figure2.5中的θ^1\hat \theta_1θ^1所示。因此,我们必须使用Rao-Blackwell-Lehmann-Scheffe定理。这种方法首先找到一个有效使用所有数据的充分统计量,再找到作为θ\thetaθ无偏估计的这个充分量的一个函数。稍微对数据的PDF做些限定,这个方法可以保证得到无偏估计。第三种方法要求估计是线性的,这个限定有的时候是个严格的约束,并且选择最好的线性估计。当然,只有对于特殊的数据集,这个方法能够得到MVU估计。
5、扩展到矢量参数
如果θ=[θ1θ2…θp]T{\bm \theta}=[\theta_1\ \theta_2\ \ldots\ \theta_p]^{\rm T}θ=[θ1θ2…θp]T为未知参数向量,如果对于i=1,2,…,pi=1,2,\ldots,pi=1,2,…,p,有
E(θ^i)=θi,ai<θi<bi(2.7)\tag{2.7} {\rm E}(\hat \theta_i)=\theta_i, \quad a_i<\theta_i<b_i E(θ^i)=θi,ai<θi<bi(2.7)我们称估计θ^=[θ^1θ^2…θ^p]T{\hat \bm \theta}=[\hat\theta_1\ \hat\theta_2\ \ldots\ \hat\theta_p]^{\rm T}θ^=[θ^1θ^2…θ^p]T为无偏的。通过定义
E(θ^)=[E(θ^1)E(θ^2)⋮E(θ^p)]{\rm E}({\hat \bm \theta})=\left[\begin{aligned} {\rm E}&(\hat \theta_1)\\ {\rm E}&(\hat \theta_2)\\ &\vdots\\ {\rm E}&(\hat \theta_p) \end{aligned}\right] E(θ^)=⎣⎢⎢⎢⎢⎢⎡EEE(θ^1)(θ^2)⋮(θ^p)⎦⎥⎥⎥⎥⎥⎤我们可以等效地定义具有如下性质的无偏估计
E(θ^)=θ{\rm E}(\hat \bm \theta)=\bm \theta E(θ^)=θMVU估计具有附加性质,即var(θ^i){\rm var}(\hat \theta_i)var(θ^i)在所有无偏估计中是最小的,这里i=1,2,…,pi=1,2,\ldots,pi=1,2,…,p。
如果觉得《估计理论(1):最小方差无偏估计(第2章)》对你有帮助,请点赞、收藏,并留下你的观点哦!