机器学习时代三大神器GBDT、XGBoost、LightGBM

都属于集成学习Boosting算法

梯度提升决策树GDBT(MART)

GBDT属于Boosting算法

GBDT有时又被称为MART(Multiple Additive Regression Tree)

GBDT中使用的决策树通常为CART(分类与回归树)

举例来说， 假设我们要预测一个人的年龄，训练集只有A、B、C、D 4个人，他们的年龄分别是14、16、24、26，特征包括了“月购物金额”“上网时长”“上网历史”等。下面开始训练第一棵树，训练的过程跟传统决策树相同，简单起见，我们只进行一次分枝。训练好第一棵树后，求得每个样本预测值与真实值之间的残差。可以看到，A、B、C、D的残差分别是-1、1、-1、1。这时我们就用每个样本的残差训练下一棵树，直到残差收敛到某个阈值以下，或者树的总数达到某个上限为止。

由于GBDT是利用残差训练的，在预测的过程中，我们也需要把所有树的预测值加起来，得到最终的预测结果。

XGBoost

XGBoost是boosting算法的其中一种，采用的是贪心策略

XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中。

GBDT是机器学习算法，XGBoost是该算法的工程实现

原始的GBDT算法基于经验损失函数的负梯度来构造新的决策树，只是在决策树构建完成后再进行剪枝。而XGBoost在决策树构建阶段就加入了正则项来控制模型的复杂度，有利于防止过拟合，从而提高模型的泛化能力。

LightGBM

LightGBM是GBDT模型的进步版本，它和XGBoost一样是对GBDT的高效实现

LightGBM在很多方面会比XGBoost表现的更为优秀

如果觉得《机器学习时代三大神器GBDT(MART) XGBoost LightGBM》对你有帮助，请点赞、收藏，并留下你的观点哦！