一)关于最小二乘法百度百科解释:最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便
一)关于最小二乘法
百度百科解释:
用于数据拟合,直观的认识如下图所示:实际中你的数据可能是绿线所表示的那样(当然多数时候是离散的点),很明显,这样的数据没有规律也不光滑,那么你想用一个光滑的多项式函数来表示这些数据怎么办?就得拟合,像红线所示的那样,拟合出来一条光滑的曲线,而且这个曲线的表达式还是可以知道的。知道了表达式的形式的另一个好处是求任意给定的x值求y值(比如你的数据是x=1,2,3...对应的y值,如果你想求x=1.5对应的y值怎么办?),或者是可以用于函数的预测(比如你的数据是x=1,2,3...10这10个数据对应的y值,你想求x=11对应的y值怎么办?)。
关于函数的拟合说明到这,那么具体如何根据得到的数据得到拟合函数的具体形式呢?这里就需要一种算法来实现了,这就是最小二乘法。当然在这之前,你也需要明白一下内容:
(1)你所拟合的函数形式是什么样子的?
比如上面的数据,你能得到一系列x值以及对应的y值,想要拟合,你是不是也需要知道y与x对应的函数关系?比如是sin(x)的关系,或者cos(x)的关系,,亦或者是两者组合关系呢?这里我们随便假设一个:
y=a1*sin(x)+a2*cos(x)+a3*sin(x)*cos(x)
在这里可以看到,似乎又多出来了几个系数(a1,a2,a3)有木有?对了,这里我们所说的函数关系其实是x与y之间符合sin、cos和sin*cos的关系,但是他们之间具体是几倍关系,谁知道呢。从这里你也可以明晓的一点就是,最小二乘算法的函数拟合不是说跟你寻找到底是属于哪种关系,而是在你规定的关系上拟合出这些关系对应的系数(也就是寻找最优的a1,a2,a3),从这里你还可以明晓一点的就是,一旦你规定的关系不好,比如上面的,可以看出大概符合sin或者cos关系,你非要规定他们符合y=a1*x+a2*x^2,这样的关系,那么你也可以拟合出这样关系下的a1与a2,但是你会发现你的结果会非常差,很容易理解。
(2)判断是否最优的标准是什么?
有了上面的函数关系,下面就是寻找到这种关系下的系数了对不对?那么怎么评判一组系数(a1,a2,a3)比另一组系数(a1,a2,a3)要好呢,这就是最小二乘。
对于一组给定的系数后,你就相当于得到了一个函数关系,那么对于任意的x值,就会有一个实际值y和一个拟合值y’吧,那么对于所有的x值,最小二乘的就是求解下面公式的最小值:
公式很简单,简单描述就是求实际值与拟合值的误差(残差)平方和,也很容易知道,对于每一组系数(a1,a2,a3),势必会出现一个Y,算法的演变形式就是求取最小化Y对应的系数(a1,a2,a3)(有点像优化算法,当然完全可以用优化算法去求解)。
Ok到这,你应该知道了什么是最小二乘以及它的实用性问题了,下一步是如何求解这组系数了。
二)最小二乘求解
(1)老问题:关于函数关系:
这里再说一遍这个问题,有人可能会说,在实际问题中,我只能得到一系列的离散点,至于他们符合哪种函数关系谁知道呢?也是,要想知道完美的符合关系确实不可能,我们只能猜想到他们的近似函数关系,碰到这类问题,首先我们需要画出得到的离散点,看看他们大致符合哪种关系,然后去试吧(也没有好的方法—_—),当然后面会说到matlab自带的拟合工具箱,里面有很多函数关系,这就大大减少了你盲目去试的时间了。
一般来说,可能的函数关系(或者叫基函数)有:多项式、三角函数、指数函数、样条函数等。
(1)关于求解原理
这里我们假设已经知道了符合的函数关系了,比如像上面的那个函数关系:
y=a1*sin(x)+a2*cos(x)+a3*sin(x)*cos(x)
我们把这个函数划分开来,分为基函数和系数,那么基函数为:
对应的系数就为:
现在问题就转化为求待定系数:(a1,a2,a3)。即:
把这个式子再变一下:
那么由多元函数极值必要条件有:
对任意函数
如果觉得《matlab cftool 最小二乘 最小二乘法与matlab拟合工具箱cftool》对你有帮助,请点赞、收藏,并留下你的观点哦!