目录
1 决策树算法api2 泰坦尼克号乘客案例背景2.1 步骤分析2.2 代码实现2.3 决策树可视化2.3.1 保存树的结构到dot文件2.3.2 网站显示结构3 决策树总结4 小结1 决策树算法api
class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None) criterion 特征选择标准“gini"或者"entropy”,前者代表基尼系数,后者代表信息增益。一默认"gini",即CART算法。 min_samples_split 内部节点再划分所需最小样本数这个值限制了子树继续划分的条件,如果某节点的样本数少于min_samples_split,则不会继续再尝试选择最优特征来进行划分。 默认是2.如果样本量不大,不需要管这个值。如果样本量数量级非常大,则推荐增大这个值。我之前的一个项目例子,有大概10万样本,建立决策树时,我选择了min_samples_split=10。可以作为参考。 min_samples_leaf 叶子节点最少样本数这个值限制了叶子节点最少的样本数,如果某叶子节点数目小于样本数,则会和兄弟节点一起被剪枝。 默认是1,可以输入最少的样本数的整数,或者最少样本数占样本总数的百分比。如果样本量不大,不需要管这个值。如果样本量数量级非常大,则推荐增大这个值。之前的10万样本项目使用min_samples_leaf的值为5,仅供参考。 max_depth 决策树最大深度决策树的最大深度,默认可以不输入,如果不输入的话,决策树在建立子树的时候不会限制子树的深度。一般来说,数据少或者特征少的时候可以不管这个值。如果模型样本量多,特征也多的情况下,推荐限制这个最大深度,具体的取值取决于数据的分布。常用的可以取值10-100之间 random_state 随机数种子2 泰坦尼克号乘客案例背景
泰坦尼克号沉没是历史上最臭名昭着的沉船之一。194月15日,在她的处女航中,泰坦尼克号在与冰山相撞后沉没,在2224名乘客和机组人员中造成1502人死亡。这场耸人听闻的悲剧震惊了国际社会,并为船舶制定了更好的安全规定。 造成海难失事的原因之一是乘客和机组人员没有足够的救生艇。尽管幸存下沉有一些运气因素,但有些人比其他人更容易生存,例如妇女,儿童和上流社会。 在这个案例中,我们要求您完成对哪些人可能存活的分析。特别是,我们要求您运用机器学习工具来预测哪些乘客幸免于悲剧。
案例:/c/titanic/overview
我们提取到的数据集中的特征包括票的类别,是否存活,乘坐班次,年龄,登陆home.dest,房间,船和性别等。
数据:http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt
经过观察数据得到:
1 乘坐班是指乘客班(1,2,3),是社会经济阶层的代表。2 其中age数据存在缺失。
2.1 步骤分析
1.获取数据2.数据基本处理 2.1 确定特征值,目标值2.2 缺失值处理2.3 数据集划分 3.特征工程(字典特征抽取)4.机器学习(决策树)5.模型评估2.2 代码实现
导入需要的模块import pandas as pdimport numpy as npfrom sklearn.feature_extraction import DictVectorizerfrom sklearn.model_selection import train_test_splitfrom sklearn.tree import DecisionTreeClassifier, export_graphviz
1.获取数据
# 1、获取数据titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
2.数据基本处理2.1 确定特征值,目标值
x = titan[["pclass", "age", "sex"]]y = titan["survived"]
2.2 缺失值处理
# 缺失值需要处理,将特征当中有类别的这些特征进行字典特征抽取x['age'].fillna(x['age'].mean(), inplace=True)
2.3 数据集划分
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)
3.特征工程(字典特征抽取)
特征中出现类别符号,需要进行one-hot编码处理(DictVectorizer)
x.to_dict(orient=“records”) 需要将数组特征转换成字典数据
# 对于x转换成字典数据x.to_dict(orient="records")# [{"pclass": "1st", "age": 29.00, "sex": "female"}, {}]transfer = DictVectorizer(sparse=False)x_train = transfer.fit_transform(x_train.to_dict(orient="records"))x_test = transfer.fit_transform(x_test.to_dict(orient="records"))
4.决策树模型训练和模型评估
决策树API当中,如果没有指定max_depth那么会根据信息熵的条件直到最终结束。这里我们可以指定树的深度来进行限制树的大小
# 4.机器学习(决策树)estimator = DecisionTreeClassifier(criterion="entropy", max_depth=5)estimator.fit(x_train, y_train)# 5.模型评估estimator.score(x_test, y_test)estimator.predict(x_test)
决策树的结构是可以直接显示
2.3 决策树可视化
2.3.1 保存树的结构到dot文件
sklearn.tree.export_graphviz() 该函数能够导出DOT格式 tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])export_graphviz(estimator, out_file="./data/tree.dot", feature_names=['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])
dot文件当中的内容如下
digraph Tree {node [shape=box] ;0 [label="petal length (cm) <= 2.45\nentropy = 1.584\nsamples = 112\nvalue = [39, 37, 36]"] ;1 [label="entropy = 0.0\nsamples = 39\nvalue = [39, 0, 0]"] ;0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ;2 [label="petal width (cm) <= 1.75\nentropy = 1.0\nsamples = 73\nvalue = [0, 37, 36]"] ;0 -> 2 [labeldistance=2.5, labelangle=-45, headlabel="False"] ;3 [label="petal length (cm) <= 5.05\nentropy = 0.391\nsamples = 39\nvalue = [0, 36, 3]"] ;2 -> 3 ;4 [label="sepal length (cm) <= 4.95\nentropy = 0.183\nsamples = 36\nvalue = [0, 35, 1]"] ;3 -> 4 ;5 [label="petal length (cm) <= 3.9\nentropy = 1.0\nsamples = 2\nvalue = [0, 1, 1]"] ;4 -> 5 ;6 [label="entropy = 0.0\nsamples = 1\nvalue = [0, 1, 0]"] ;5 -> 6 ;7 [label="entropy = 0.0\nsamples = 1\nvalue = [0, 0, 1]"] ;5 -> 7 ;8 [label="entropy = 0.0\nsamples = 34\nvalue = [0, 34, 0]"] ;4 -> 8 ;9 [label="petal width (cm) <= 1.55\nentropy = 0.918\nsamples = 3\nvalue = [0, 1, 2]"] ;3 -> 9 ;10 [label="entropy = 0.0\nsamples = 2\nvalue = [0, 0, 2]"] ;9 -> 10 ;11 [label="entropy = 0.0\nsamples = 1\nvalue = [0, 1, 0]"] ;9 -> 11 ;12 [label="petal length (cm) <= 4.85\nentropy = 0.191\nsamples = 34\nvalue = [0, 1, 33]"] ;2 -> 12 ;13 [label="entropy = 0.0\nsamples = 1\nvalue = [0, 1, 0]"] ;12 -> 13 ;14 [label="entropy = 0.0\nsamples = 33\nvalue = [0, 0, 33]"] ;12 -> 14 ;}
那么这个结构不能看清结构,所以可以在一个网站上显示
2.3.2 网站显示结构
/将dot文件内容复制到该网站当中显示
3 决策树总结
优点: 简单的理解和解释,树木可视化。 缺点:决策树学习者可以创建不能很好地推广数据的过于复杂的树,容易发生过拟合。改进: 减枝cart算法随机森林(集成学习的一种)注:企业重要决策,由于决策树很好的分析能力,在决策过程应用较多, 可以选择特征
4 小结
案例流程分析【了解】 1.获取数据2.数据基本处理 2.1 确定特征值,目标值2.2 缺失值处理2.3 数据集划分 3.特征工程(字典特征抽取)4.机器学习(决策树)5.模型评估 决策树可视化【了解】 sklearn.tree.export_graphviz() 决策树优缺点总结【知道】 优点: 简单的理解和解释,树木可视化。 缺点: 决策树学习者可以创建不能很好地推广数据的过于复杂的树,容易发生过拟合。 改进: 减枝cart算法随机森林(集成学习的一种)如果觉得《机器学习决策树算法泰坦尼克号乘客生存预测》对你有帮助,请点赞、收藏,并留下你的观点哦!