失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > 估计——一般最小方差无偏估计

估计——一般最小方差无偏估计

时间:2023-09-18 11:32:19

相关推荐

估计——一般最小方差无偏估计

- 回顾

前面一直在讲述估计量的有效性(CRLB,线性模型),而没有提到假如估计量的方差没有达到CRLB,即是有效估计量不存在,但能够求出MVU估计量(假定存在)仍然是一个重要的事(可参考文章中的图片/GongPF/article/details/88715517)。因此,就提出了一般MVU估计。

- 主要使用的概念和方法

- 充分统计量(Sufficient statistic)

- RBLS定理(Rao-Blackwwell-Lehmann-Scheffe)

- 理解充分统计量

- 知乎:/question/41367707

- 一篇不知名的不知作者的文章描述:

-这里举个例子:, 估计参数,w[n]是WGN,则可求出样本均值是MVU估计量

假设,这里选择作为估计量,那么可以看出是无偏的,它的方差要比大。 直观的理解:较差的性能是由于放弃了数据而导致的直接结果,这些信息携带了有关要估计参数的信息。

这样就产生了这样的问题:哪些数据与估计问题(估计参数)有关?

- 对于上述关于估计问题,一旦知道了,就不需要单个的数据值,因为关于参数的所有的信息都已经包含在这个充分统计量中。详细解释如下:

考虑数据的PDF为(需要估计A)

假定已经观测到统计量T(x)

这个统计量的知识将把数据的PDF改变为条件PDF,即

由于统计量是估计参数A的充分统计量,这个条件PDF就应该与估计参数 A 无关。因此,要证明统计量是充分的,就必须确认对应的条件PDF,并且确定它与估计参数无关。如下图所示:

计算条件PDF是比较难的事,所有需要一种更为简单的方法,下面就讲解Neyman-Fisher分解原理——一种寻找充分统计量的简单方法。

-Neyman-Fisher分解

-Neyman-Fisher 因子分解:若能将PDF分解为

其中 g 只是通过 T(x) 才与 x 有关的函数;而 h 只是 x 的函数,那么T(x) 是的充分统计量。反之,如果T(x) 是的充分统计量,那么数据PDF可以分解为上式形式。

例如:考虑, 参数 ,w[n]~N(0,),但是参数为估计对象。假如数据PDF的N-F分解如下

可以很明显看出, 是的充分估计量。

- 联合充分统计量

- 定义:如果 m个统计量的条件PDF与无关,那么这 m 个统计量联合充分统计量。

- N-F分解:如果能够分解为

那么是的充分统计量。很显然,原始数据总是充分统计量。

因为令m = N, 所有恒有g=p(x;) h=1 。

- 利用充分统计量求MVU估计量(RBLS定理)

- 上面已经获取求的充分统计量T(x),那么就可以利用RBLS定理来求MVU估计量。

- RBLS定理

如果是的无偏估计量,T(x) 是的充分统计量,那么 具有如下特性:

i)是的一个适用的估计量,即是与无关;

ii)是无偏的

iii)对于所有的来说,的方差要小于或等于的方差

iv)如果 T(x) 充分统计量是完备的,那么是MVU估计量

- 完备统计量(Completeness statistic)

定义1:a statistic that does not allow an unbiased estimator of zero.

定义2:从本质上来讲,如果只存在一个无偏统计量函数(统计量是样本的函数),那么该统计量就是完备的。

定义3:图来源:/view/e3a2df49daef5ef7bb0d3c2e.html

充分完备统计量性质:对于某个参数的估计,假定充分统计量T(x)完备的,则存在唯一的函数 g 满足 E[g(T(x))] =。

更多性质参考:/view/e3a2df49daef5ef7bb0d3c2e.html

总结完备性条件: 如果对于所有待估计参数,它的充分统计量 T 的任何一种构造函数 v(T) ,只对零函数即v(T)=0(对所有的T)满足下面条件

那么,就说充分统计量是完备的。

- 解题思路(针对不知道MVU估计量时的参数估计问题)

1、利用R-F因子分解来求一个 估计参数的充分统计量 T(x)。

2、确定充分统计量是否完备。如果是,继续往下处理;否者这个方法就不能使用。

3、求一个充分统计量的函数,以此来得到一个无偏估计量。那么,是MVU估计量。

步骤3 可亦采用另一种方法

3‘、计算,其中是任意的无偏估计量。(实际中,条件期望计算复杂,视情况选择方法)

如果觉得《估计——一般最小方差无偏估计》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。