集成算法

1、集成算法之Boosting（GBDT、XGB、LGB）2、集成算法之Bagging（RF）3、集成算法之Stacking（速度慢）

1、集成算法之Boosting（GBDT、XGB、LGB）

1、重赋权（错误标记样本赋予较高的权重）（过早停止导致基学习器少）

2、重采样

注：关注降低偏差，避免欠拟合。个体学习器之间存在强依赖关系

2、集成算法之Bagging（RF）

booststrap sampling：

1、从数据集中有放回的随机抽m个样本（36.8%抽不中）

2、从样本中随机抽n个特征进行建树

3、重复1-2

采用相互交叠的采样子集：

获得基学习器有较大差异个体学习器的性能不会太差（保证训练集各不相同）

注：关注降低方差，避免过拟合。个体学习器之间相互独立

3、集成算法之Stacking（速度慢）

第一层用各种模型：

训练处的结果当做第二层训练集测试集平均当做第二层测试集

如果觉得《机器学习算法—集成算法原理详解》对你有帮助，请点赞、收藏，并留下你的观点哦！