泰迪智能科技（TipDM数据挖掘平台）最新推出的数据挖掘实战专栏
专栏将数据挖掘理论与项目案例实践相结合，可以让大家获得真实的数据挖掘学习与实践环境，更快、更好的学习数据挖掘知识与积累职业经验
专栏中每四篇文章为一个完整的数据挖掘案例。案例介绍顺序为：先由数据案例背景提出挖掘目标，再阐述分析方法与过程，最后完成模型构建，在介绍建模过程中同时穿插操作训练，把相关的知识点嵌入相应的操作过程中。
为方便读者轻松地获取一个真实的实验环境，本专栏使用大家熟知的Python语言对样本数据进行处理以进行挖掘建模。
————————————————
下面进入第三篇，数据模型构建～
灰色预测算
灰色预测法是一种对含有不确定因素的系统进行预测的方法。在建立灰色预测模型之前，需先对原始时间序列进行数据处理，经过数据处理后的时间序列即称为生成列。灰色系统常用的数据处理方式有累加和累减两种。
灰色预测是以灰色模型为基础的，在众多的灰色模型中，GM(1,1)模型最为常用。
设特征
为一非负单调原始数据序列，建立灰色预测模型如下。
（1）首先对X(0)进行一次累加，得到一次累加序列
（2）对X(1)可建立下述一阶线性微分方程，如式（1-1）所示，即GM(1,1)模型
（1-1）
（3）求解微分方程，即可得到预测模型，如式（1-2）所示。
（1-2）
（4）由于GM(1,1)模型得到的是一次累加量，将GM(1,1)模型所得数据
经过累减还原为，即的灰色预测模型如式（1-3）所示。
（1-3）
后验差检验模型精度如表1-1所示。
表1-1后验差检验判别参照表
灰色预测法的通用性较强，一般的时间序列场合都适用，尤其适合那些规律性差且不清楚数据产生机理的情况。灰色预测模型的优点是具有预测精度高、模型可检验、参数估计方法简单、对小数据集有很好的预测效果。缺点是对原始数据序列的光滑度要求很高，在原始数据列光滑性较差的情况下灰色预测模型的预测精度不高甚至通不过检验，结果只能放弃使用灰色模型进行预测。
SVR算法
SVR（Support Vector Regression，支持向量回归）是在做拟合时，采用了支持向量的思想，来对数据进行回归分析。给定训练数据集
，其中，。对于样本通常根据模型输出与真实值yi之间的差别来计算损失，当且仅当时损失才为零。
SVR的基本思路是：允许
与yi之间最多有ε的偏差。仅当丨时，才计算损失。当时，认为预测准确。用数学语言描述SVR问题如式（1-4）所示。
（1-4）
其中
为罚项系数，Lε为损失函数。
更进一步，引入松弛变量
，则新的最优化问题如式（1-5）和式（1-6）所示。
（1-5）
（1-6）
这就是SVR原始问题。类似的，引入拉格朗日乘子，
，定义拉格朗日函数如式（1-7）所示。
（1-7）
根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题，如式（1-8）所示。
（1-8）
先求极小问题：根据
偏导数可得式（1-9）。
（1-9）
再求极大问题（取负号变极小问题）如式（1-10）和式（1-11）所示。
（1-10）
（1-11）
KKT条件如式（1-12）所示。
（1-12）
假设最终解为
，在中，找出的某个分量，则有式（1-13）和式（1-14）。
（1-13）
（1-14）
更进一步，如果考虑使用核技巧，给定核函数
，则SVR可以表示为如式（1-15）所示。
（1-15）
由于支持向量机拥有完善的理论基础和良好的特性，人们对其进行了广泛的研究和应用，涉及分类、回归、聚类、时间序列分析、异常点检测等诸多方面。具体的研究内容包括统计学习理论基础、各种模型的建立、相应优化算法的改进以及实际应用。支持向量回归也在这些研究中得到了发展和逐步完善，已有许多富有成果的研究工作。
相比较于其他方法，支持向量回归优点是：支持向量回归不仅适用于线性模型，对于数据和特征之间的非线性关系也能很好抓住；支持向量回归不需要担心多重共线性问题，可以避免局部极小化问题，提高泛化性能，解决高维问题；支持向量回归虽然不会在过程中直接排除异常点，但会使得由异常点引起的偏差更小。缺点是计算复杂度高，在面临数据量大的时候，计算耗时长。
构建财政收入预测模型
依据Lasso回归选取的关键变量构建灰色预测模型，并预测和的财政收入，如代码清单1-1所示。
代码清单1-1构建灰色预测模型并预测
*代码详见：demo/code/predict.py。
依据灰色预测的结果构建支持向量回归预测模型，并预测和的财政收入，如代码清单1-2所示。
代码清单1-2构建支持向量回归预测模型
*代码详见：demo/code/predict.py。
结果分析
对Lasso回归选取的社会从业人数（x1）、社会消费品零售总额（x3）、城镇居民人均可支配收入（x4）、城镇居民人均消费性支出（x5）、全社会固定资产投资额（x6）、地区生产总值（x7）、第一产业产值（x8）和居民消费水平（x13）属性的及通过建立的灰色预测模型得出的预测值，如表1-2所示。
表1-2通过灰色预测模型得出的预测值
将表1-2的预测结果代入地方财政收入建立的支持向量回归预测模型，得到1994年至财政收入的预测值，如表1-3所示，其中y_pred表示预测值。
表1-3 与财政收入的预测值
地方财政收入真实值与预测值对比图如图1-1所示。
图1-1地方财政收入真实值与预测值对比图
采用回归模型评价指标对地方财政收入的预测值进行评价，得到的结果如表1-4所示。
表1-4模型评价指标
由表1-4可以看出，平均绝对误差与中值绝对误差较小，可解释方差值与R方值十分接近1，表明建立的支持向量回归模型拟合效果优良，可以用于预测财政收入。
下一篇预告：
财政收入影响因素分析及预测模型（四）-上机实验
关注我可了解更多数据挖掘实战知识~ 也可以利用泰迪智能科技 TipDM数据挖掘平台 申请试用操作。
如果觉得《数据挖掘实战分享：财政收入影响因素分析及预测（三）》对你有帮助，请点赞、收藏，并留下你的观点哦！
