失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > 异方差性和加权最小二乘法详解

异方差性和加权最小二乘法详解

时间:2020-06-05 02:33:43

相关推荐

异方差性和加权最小二乘法详解

加权最小二乘是对原模型进行加权,是该模型成为 一个新的不存在异方差性的模型,然后对该新模型使用普通最小二乘法估计其参数进行优化。

异方差性的解释:随机误差的方差不全相等。异方差性是相对于同方差而言的,同方差是为了保证回归参数估计量具有良好的统计特性。也就是线性回归函数中的随机误差项(扰动项)必须满足同方差性,即方差都相同。

异方差性存在的影响:如果随机误差项的均值为零,则彼此独立,但是方差不等,即使最小二乘估计具有无偏性和一致性,但却不是最优线性无偏估计。因此回归模型的预测值会波动较大。

无偏性:如果总体参数为seta,seta1为估计量,如果E(seta1)=seta,那么seta1为seta的无偏估计量。

一致性:样本数目越大,估计量就越来越接近总体参数的真实值。如果seta1在seta周围震荡,那么满足无偏性却不满足一致性。

有效性:指估计量与总体参数的离散程度,如果两个估计量都是无偏的,那么离散程度较小的估计量相对来说是有效的,离散程度用方差来衡量。

1、判断有偏估计和无偏估计:计算多个样本得到的估计值的期望和真实值的差值。

如果差值为0则为无偏估计,如果不为0则为有偏估计。

样本均值是高斯均值参数的无偏估计量;样本方差是高斯方差参数的有偏估计

2、

• 如果线性回归模型存在异方差性,则用传统的最小二乘法估计模型,所得到的参数估计不是有效估计量,也无法对参数模型参数进行有关显著性检验。这时异方差性就破坏了古典的模型,用正常的无权重最小二乘就不能进行正确估计。 • • 异方差的类型分为三种:递增方差,递减方差,复杂性 • 用图进行说明,即:

判断异方差的几种检验方法:1、用X-Y的散点图进行判断,看是否存在明显的散点扩大,缩小和复杂趋势;2、X-方差的散点图,看是否形成一斜率为0的直线3、用各种检验方法,如park检验,G-Q检验和white检验。

异方差的修正

如果模型检验出存在异方差性,就用加权最小二乘法进行估计。 加权最小二乘法的基本思想: 对原模型进行加权,使之变成一个新的不存在异方差性的模型,然后再采用 OLS 估计其参数。 例子:

检验:

如果方差不能直接计算呢?

再实际操作中人们通常采用如下的经验方法:不对原模型进行异方差性进行检验,而是直接选择加权最小二乘法,尤其是采用截面数据做样本时,即,如果确实存在异方差,则可以消除,如果不存在异方差性,则加权的等价于普通的最小二乘法。

如果觉得《异方差性和加权最小二乘法详解》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。