正则化
我们所说的正则化，就是在原来的loss function的基础上，加上了一些正则化项或者称为模型复杂度惩罚项。
以线性回归为例：
结构风险最小化： 在经验风险最小化的基础上（也就是训练误差最小化），尽可能采用简单的模型，以此提高泛化预测精度。
举一个通俗的栗子：当针对样本（1,1,1,1）有w1（1,0,0,0）与w2（1/4,1/4,1/4,1/4）计算得到的结果相同，此时选择哪一个模型呢，显然选择后一个模型只管感觉更加合理（泛化能力更强），但是如何通过数学公式比较呢，此时就用到了正则化惩罚项，计算，前一项为1*C，后一项为C*（1/4），这样通过计算结果对比，显然后一项的惩罚分更小，模型合适。
L1正则化和L2正则化：
L1正则化就是在loss function后边所加正则项为L1范数，加上L1范数容易得到稀疏解（0比较多）。L2正则化就是loss function后边所加正则项为L2范数的平方，加上L2正则相比于L1正则来说，得到的解比较平滑（不是稀疏），但是同样能够保证解中接近于0（但不是等于0，所以相对平滑）的维度比较多，降低模型的复杂度。
梯度、散度、旋度、lapiacian矩阵、Hessian矩阵
图中的细实线箭头表示了四种一阶微分运算，包括梯度、散度、旋度和 Jacobian。每条箭头的起点表示了相应运算的自变量的类型，终点表示了相应运算的因变量的类型，例如梯度运算是作用在标量上的，结果是向量。图中的「向量」默认为列向量。
这四种一阶微分运算可以统一用算符（读作 nabla）表示。Nabla 算符是一个形式向量，它可以如下地作用于标量或向量上：
图中的粗实线箭头表示了两种二阶微分运算，它们可以由两个一阶微分运算组合而成，即：
梯度的散度就是 Laplacian；
梯度的 Jacobian 就是 Hessian。
图中的虚线箭头表示了一种不涉及微分的运算（迹）。在微分运算之后接上「迹」运算，可能得到另一种微分运算，如：
Jacobian 的迹就是散度；
Hessian 的迹就是 Laplacian。
梯度的旋度恒为零向量；
旋度的散度恒为 0。
拉普拉斯算子
根据定义，函数的拉普拉斯算子又可以写成，其被定义为函数梯度的散度。
我们知道，在直角坐标系下，一个函数在处的梯度是一个向量，
于是函数的梯度函数
就构成了一个在三维空间下的向量场。
于是乎，我们对这一向量场求散度，即得到了的拉普拉斯算子。
为什么要这样做呢？
让我们想像一座山，根据梯度的定义，在山峰周围，所有的梯度向量向此汇聚，所以每个山峰处的拉普拉斯算子为负；而在山谷周围，所有梯度从此发散，所以每个山谷处的拉普拉斯算子为正。所以说，对于一个函数，拉普拉斯算子实际上衡量了在空间中的每一点处，该函数梯度是倾向于增加还是减少
拉普拉斯矩阵
我们有相应的矩阵
我们又有关于图函数的列向量：
我们试着计算：
经过观察我们可以知道，最后计算结果的向量，即是整个图在函数上的梯度，其中每一行，为该梯度在一条边上的分量。
所以对于图，我们有,使得
图函数每一点上梯度的散度，即是从该节点射出的梯度，减去射入该节点的梯度，那么我们几乎又可以立即想到（？），根据这样的定义去计算散度，只要把原来的梯度再左乘一个这样的矩阵就可以啦：
每一行代表一个点，每一列代表一条边，使得对于每个点每条边，如果该条边从该点发射出去，则将矩阵中对应的这一元素置为 ，如果该条边指向该点，则将对应的元素置为
命名这一矩阵为
也就是说，我们把的每个元素，正的变成1，负的变成-1，就得到了
那么，
于是我们得到了图论函数的拉普拉斯算子，即我们常说的拉普拉斯矩阵。
傅里叶变换
简单的讲：就是将复杂的周期信号，变换成一系列成谐波关系（谐波关系：基波频率整数倍的各次分量称为谐波）正弦信号的叠加。
1、方波
下图展示了方波的傅里叶级数的前50项的叠加过程，如果项数继续增加，则最终趋近方波。
02、锯齿波
考虑组成锯齿波的正弦信号，锯齿波可由以下公式表示， 这里n为正整数：
频域到时域的变换过程
参考
/p/35356992
/p/35323714
/question/279808864
如果觉得《机器学习算法基础知识点复习2——L1与L2正则化 梯度 散度 旋度 拉普拉斯算子 傅里叶变换》对你有帮助，请点赞、收藏，并留下你的观点哦！
