高斯马尔科夫定理（Gauss-Markov Theorem）证明了如果误差满足零均值、同方差且互不相关，那么利用最小二乘法（OLS）进行线性回归得到的估计参数是最佳的以及无偏的。所以普通最小二乘法估计是对回归系数的最佳线性无偏估计(BLUE, Best Linear Unbiased Estimator)。
（一) 回归分析---线性回归
回归模型研究的是变量与变量之间的关系，线性回归研究的就是变量与变量之间的线性关系。
这种关系实际上仅是一种统计关系，利用实际数据估计出各变量之间影响程度与方向，也就是我们要估计出的各个参数。
总体回归模型的一般形式为
这里的
为随机扰动项（随机误差），指对解释变量有影响但又未被列入模型系统部分的所有因素总和，包含省略误差与测量误差等。
由于随机扰动项的存在，虽然我们的各个参数
是实际存在的，但是我们无法得到真实值，只能进行估计，这就是计量经济学的主要任务。
线性回归模型是最常用的回归模型。 当函数f是线性时，模型为
就是要在在空间中找到形如直线（X是一维）或是一个平面（X是高维）的函数来拟合实际统计到的数据。下图的数据点很明显围绕一条直线上下波动。
注意：我们这里所说的线性的意思是对参数而言，即解释变量X对被解释变量的边际效应
（理解为求一阶导）是一个常数。
当我们发现数据明显非线性时，如曲线形式，我们可以通过对X或Y取指数、倒数、对数等，将其转变为直线状态。常见的转换形式如下:
我们也知道，经济关系很多是非线性的，我们只能说是为了种种方便性，用线性回归来当作非线性经济关系的一阶线性近似。
（二）最小二乘法（OLS）
我们现在的问题是，有了样本数据，我们怎么才能找到最适合的函数形式（最适合的直线或平面），也就是怎么找到最合适的参数
来描述设定的X与Y之间的影响程度与方向呢？
直观来看，利用样本数据估计统计参数是统计学里的问题，要是换做代数学的角度，我们可以把问题描述成，已知真实的X与Y的值，如何选择
，使得我们用回归直线估计出的每个 最接近它们的真实值Y。
判断好坏必须要有标准，我们的标准就是让Y-
最小。定义e= ，每个y都有对应的e，我们期望总体e最小。
我们首先想到的就是使所有e的绝对值的和最小，即
，而要求最值，想到的就是通过求导求解，可是代绝对值的导数并不好求，可能是出于简化计算参数难度的考虑，现在最常见的方法是 ，也就是最小化残差平方和----最小二乘法。
按理说，最小二乘法会比较容易受到强影响点的影响，最小一乘法的拟合度会更好一些。可能还有最小三乘、四乘等种种估计方法，但高斯-马尔科夫定理证明了OLS是BLUE的！所以，OLS是主流的估计参数方法。
先看一维的情况，
因为二阶导数大于零，我们相信这是最小值。
对于多维X来说，
设
是列满秩矩阵（为了确保 存在，即必须要求自变量之间无直接的线性关系（corr（xi，xj） ）），则正规方程的解唯一：最终得到
（三）高斯-马尔可夫定理
我们已知高斯-马尔可夫定理是为了证明满足误差零均值、同方差、互不相关时，OLS是线性、最佳、无偏估计量。
刚才说过，让e最小化的方法有很多，不同方法会求出不同的参数，那么如何判断参数的优劣？计量经济学里，通常用无偏性、有效性、一致性等来判断。
无偏性指的是
，也就是参数估计值的期望等于其真实值。无偏的意思就是没有偏离，也就是所有的估计值都会围绕在真值周围，不会全部都在真值的某一方向，如都集中在上方，那这就是有偏的了。
证明：
（
均为确定数值，求期望仍为其本身）
这里的重点来了，我们假设
为0，它的意思是 均值独立于所有解释变量，也就是和所有解释变量都不相关。根据迭代期望定理， ，这就是最开头说得误差满足零均值假设。
或者
得到
，根据迭代期望定理，
一致性是指随着样本量的增大，点估计的值越来越接近被估计的总体参数的真实值（这很好理解，样本大到和总体一样时，那肯定相等）。另一种理解是，随着抽样次数不断增加，所有的估计值会趋同，即趋于一致（参考中心极限定理），但这个值并不一定就是真实值。
有效性指的是在所有的估计中，误差方差越小的那个估计方法越有效。
最佳线性无偏估计的意思就是在所有的线性无偏估计中，能使误差方差最小的那个参数估计方法。
如果觉得《matlab 最小二乘法拟合_最小二乘法与高斯马尔科夫定理（无偏性 有效性）》对你有帮助，请点赞、收藏，并留下你的观点哦！
