本文参考《20天吃透Pytorch》来实现titanic数据集的模型建立和训练
在书中理论的同时加入自己的理解。
一,准备数据
数据加载
titanic数据集的目标是根据乘客信息预测他们在Titanic号撞击冰山沉没后能否生存。
结构化数据一般会使用Pandas中的DataFrame进行预处理。
import torchimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom torch import nnfrom torch.utils.data import Dataset,DataLoader,TensorDataset
数据集字段如下:
字段说明:
Survived:0代表死亡,1代表存活【y标签】
Pclass:乘客所持票类,有三种值(1,2,3) 【转换成onehot编码】
Name:乘客姓名 【舍去】
Sex:乘客性别 【转换成bool特征】
Age:乘客年龄(有缺失) 【数值特征,添加“年龄是否缺失”作为辅助特征】
SibSp:乘客兄弟姐妹/配偶的个数(整数值) 【数值特征】
Parch:乘客父母/孩子的个数(整数值)【数值特征】
Ticket:票号(字符串)【舍去】
Fare:乘客所持票的价格(浮点数,0-500不等) 【数值特征】
Cabin:乘客所在船舱(有缺失) 【添加“所在船舱是否缺失”作为辅助特征】
Embarked:乘客登船港口:S、C、Q(有缺失)【转换成onehot编码,四维度 S,C,Q,nan】
加载数据集:
#数据读取train_data = pd.read_csv('./data/titanic/train.csv')test_data = pd.read_csv('./data/titanic/test.csv')test_datay = pd.read_csv('./data/titanic/titanic.csv')#print(train_data.head(10)) #打印训练数据前十个
当我们获得数据集后,首先要查看数据中是否有缺失!!!这个很重要!
train_data.info() #查看训练数据有没有未知的的test_data.info() #查看测试数据有没有未知的的
很明显,Age和Cabin数据都有缺失
接下来,先利用Pandas的数据可视化分析数据:
幸存情况
#幸存情况ax = train_data['Survived'].value_counts().plot(kind = 'bar',figsize = (12,8),fontsize =15,rot = 0)#value_counts是查询有多少个不同值且每个不同值有多少个重复的ax.set_ylabel('Counts',fontsize = 15)ax.set_xlabel('Survived',fontsize = 15)plt.show()
年龄分布情况
#年龄分布情况ax = train_data['Age'].plot(kind = 'hist',bins = 20,color = 'purple',figsize = (12,8),fontsize = 15)"""hist方法常用的参数有以下几个1. bins,控制直方图中的区间个数2. color,指定柱子的填充色3. edgecolor, 指定柱子边框的颜色4. density,指定柱子高度对应的信息,有数值和频率两种选择5. orientation,指定柱子的方向,有水平和垂直两个方向6. histtype,绘图的类型"""ax.set_ylabel('Frequency',fontsize = 15)ax.set_xlabel('Age',fontsize = 15)plt.show()
年龄和label的相关性
#年龄和label的相关性ax = train_data.query('Survived == 0')['Age'].plot(kind = 'density',figsize = (12,8),fontsize = 15)#使用python.query()函数对数据框进行(挑选行)的操作train_data.query('Survived == 1')['Age'].plot(kind = 'density',figsize = (12,8),fontsize = 15)ax.legend(['Survived ==0','Survived ==1'],fontsize = 12)#plt.legend()函数主要的作用就是给图加上图例,plt.legend([x,y,z])里面的参数使用的是list的的形式将图表的的名称喂给这和函数。ax.set_ylabel('Density',fontsize = 15)ax.set_xlabel('Age',fontsize = 15)plt.show()
数据预处理
这个步骤非常非常重要! 不仅要加载数据集,更重要的是如何处理NULL数据!
"""数据预处理"""def preprocessing(dfdata):dfresult = pd.DataFrame() #存储结果#DataFrame是Python中Pandas库中的一种数据结构,它类似excel,是一种二维表。#Pclass处理dfPclass = pd.get_dummies(dfdata['Pclass'])#对Pclass进行get_dummies,将该特征离散化dfPclass.columns = ['Pclass_'+str(x) for x in dfPclass.columns]dfresult = pd.concat([dfresult,dfPclass],axis=1)#concat函数是在pandas底下的方法,可以将数据根据不同的轴作简单的融合,axis: 需要合并链接的轴,0是行,1是列#SexdfSex = pd.get_dummies(dfdata['Sex'])dfresult = pd.concat([dfresult, dfSex], axis=1)#Agedfresult['Age'] = dfdata['Age'].fillna(0)dfresult['Age_null'] = pd.isna(dfdata['Age']).astype('int32')#pandas.isna(obj)检测array-like对象的缺失值# SibSp,Parch,Faredfresult['SibSp'] = dfdata['SibSp']dfresult['Parch'] = dfdata['Parch']dfresult['Fare'] = dfdata['Fare']# Carbindfresult['Cabin_null'] = pd.isna(dfdata['Cabin']).astype('int32')print(dfresult['Cabin_null'])# EmbarkeddfEmbarked = pd.get_dummies(dfdata['Embarked'], dummy_na=True)dfEmbarked.columns = ['Embarked_' + str(x) for x in dfEmbarked.columns]#DataFrame.columns属性以返回给定 DataFrame 的列标签。dfresult = pd.concat([dfresult, dfEmbarked], axis=1)return dfresult#获得训练x,yx_train = preprocessing(train_data).valuesy_train = train_data[['Survived']].values#获得测试x,yx_test = preprocessing(test_data).valuesy_test = test_datay[['Survived']].values# print("x_train.shape =", x_train.shape )# print("x_test.shape =", x_test.shape )# print("y_train.shape =", y_train.shape )# print("y_test.shape =", y_test.shape )
这里重点讲解一下对数据缺失部分的处理!
以Age字段,我们通过fillna(0)
,将Age字段中的NaN替换成0
然后通过pd.isna
将空值点的地方记录下来(添加“年龄是否缺失”作为辅助特征)
这里我把测试数据中的Age部分除了前两个后面全设置为NULL
然后把dfresult['Age']
,dfresult['Age_null']
打印出来:
可以看看下面这个文章,我收到了很多启发。
data是一个pandas.DataFrame数据对象,是从mysql读取的数据。由于有的列在数据库是int类型,而且有空值(Null),因此在从数据库抽取到df对象后,pandas自动将int转成float,比如10变成了10.0,15902912345变成了1.5902912345E10,Null变成了NaN。这种列由于存在NaN,因此不能用DataFrame.astype()方法转成int类型。
我们的目的就是尽量让pandas抽取的数据跟数据库“看上去”一致。比如原来是int类型的,如果被替换成float了,那么需要转换回去,原来是Null的,被pandas改成NaN了,需要替换成空字符串。由于pandas列的int类型不能为空,所以需统一转换成字符串类型。
为了达到将列转换成int类型原来的展现形式(可以是object类型,相当于str,此时10还是展示为10),且NaN转换成空值这个目的,可以采取如下步骤:
1.生成新的df对象,保存data里为NaN的位置标记
2.将data需要处理的列,NaN值替换为float能允许的类型,如0,下面会用到
3.将该列转换成int类型,此时10.0转换成10,1.5902912345E10转换成15902912345
4.将该列转换成object类型,此时所有数值按str类型原样保存
5.用NaN位置标记的df对象作为索引,替换原df对象中为0的值到空字符串
利用pandas.DataFrame.isna方法做替换(很棒的技巧)
进一步使用DataLoader和TensorDataset封装成可以迭代的数据管道。
"""进一步使用DataLoader和TensorDataset封装成可以迭代的数据管道。"""dl_train = DataLoader(TensorDataset(torch.tensor(x_train).float(),torch.tensor(y_train).float()),shuffle = True, batch_size = 8)dl_valid = DataLoader(TensorDataset(torch.tensor(x_test).float(),torch.tensor(y_test).float()),shuffle = False, batch_size = 8)# 测试数据管道for features,labels in dl_train:print(features,labels)break
二,定义模型
使用Pytorch通常有三种方式构建模型:使用nn.Sequential按层顺序构建模型,继承nn.Module基类构建自定义模型,继承nn.Module基类构建模型并辅助应用模型容器进行封装。
此处选择使用最简单的nn.Sequential,按层顺序模型。
"""二,定义模型"""def creat_net():net = nn.Sequential()net.add_module("linear1",nn.Linear(15,20))net.add_module("relu1",nn.ReLU())net.add_module("linear2", nn.Linear(20, 15))net.add_module("relu2", nn.ReLU())net.add_module("linear3", nn.Linear(15, 1))net.add_module("sigmoid", nn.Sigmoid())return netnet = creat_net()#print(net)
三,训练模型
"""三,训练模型"""from sklearn.metrics import accuracy_scoreloss_func = nn.BCELoss()optimizer = torch.optim.Adam(params=net.parameters(),lr=0.01)metric_func = lambda y_pred,y_true:accuracy_score(y_true.data.numpy(),y_pred.data.numpy()>0.5)#lambda表达式是起到一个函数速写的作用。允许在代码内嵌入一个函数的定义。#accuracy_score是分类准确率分数是指所有分类正确的百分比。metric_name = "accuracy"#metric就是准确率epochs = 10log_step_freq = 30dfhistory = pd.DataFrame(columns = ["epoch","loss",metric_name,"val_loss","val_"+metric_name])for epoch in range(1,epochs+1):#开始训练net.train()loss_sum = 0.0metric_sum = 0.0step = 1for step,(features,labels) in enumerate(dl_train,1):optimizer.zero_grad()#正向传播predictions = net(features)loss = loss_func(predictions,labels)metric = metric_func(predictions,labels)#反向传播loss.backward()optimizer.step()#打印batch日志loss_sum += loss.item()metric_sum += metric.item()if step%log_step_freq == 0:print(("[step = %d] loss: %.3f, " + metric_name + ": %.3f") %(step, loss_sum / step, metric_sum / step))#验证循环net.eval()val_loss_sum = 0.0val_metric_sum = 0.0val_step = 1for val_step, (features, labels) in enumerate(dl_valid, 1):predictions = net(features)val_loss = loss_func(predictions, labels)val_metric = metric_func(predictions,labels)val_loss_sum += val_loss.item()val_metric_sum += val_metric.item()#记录日志info = (epoch, loss_sum / step, metric_sum / step,val_loss_sum / val_step, val_metric_sum / val_step)dfhistory.loc[epoch - 1] = info# 打印epoch级别日志print(("\nEPOCH = %d, loss = %.3f," + metric_name + " = %.3f, val_loss = %.3f, " + "val_" + metric_name + " = %.3f")% info)
四,评估模型
"""四,评估模型"""def plot_metric(dfhistory, metric):train_metrics = dfhistory[metric]val_metrics = dfhistory['val_'+metric]epochs = range(1, len(train_metrics) + 1)plt.plot(epochs, train_metrics, 'bo--')plt.plot(epochs, val_metrics, 'ro-')plt.title('Training and validation '+ metric)plt.xlabel("Epochs")plt.ylabel(metric)plt.legend(["train_"+metric, 'val_'+metric])plt.show()plot_metric(dfhistory,"loss")plot_metric(dfhistory,"accuracy")
这里补充一下dfhistory
dfhistory
来源于第三部分训练模型中:
dfhistory = pd.DataFrame(columns = ["epoch","loss",metric_name,"val_loss","val_"+metric_name])
DataFrame是Python中Pandas库中的一种数据结构,它类似excel,是一种二维表。
dfhistory的作用就是跟踪数据,在训练的过程中记录每一步的训练结果。
通过在dfhistory调取训练数据和测试数据进行对比绘图!
结果展示:
五,使用模型
"""五,使用模型"""y_pred_probs = net(torch.tensor(x_test[0:10]).float()).datay_pred = torch.where(y_pred_probs>0.5,torch.ones_like(y_pred_probs),torch.zeros_like(y_pred_probs))
六,保存模型
"""# 六,保存模型"""#保存模型参数(推荐)print(net.state_dict().keys())# 保存模型参数torch.save(net.state_dict(), "./data/net_parameter.pkl")net_clone = creat_net()net_clone.load_state_dict(torch.load("./data/net_parameter.pkl"))net_clone.forward(torch.tensor(x_test[0:10]).float()).data#保存完整模型(不推荐)torch.save(net, './data/net_model.pkl')net_loaded = torch.load('./data/net_model.pkl')net_loaded(torch.tensor(x_test[0:10]).float()).data
完整代码:
import torchimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom torch import nnfrom torch.utils.data import Dataset,DataLoader,TensorDataset"""一,准备数据"""#数据读取train_data = pd.read_csv('./data/titanic/train.csv')test_data = pd.read_csv('./data/titanic/test.csv')test_datay = pd.read_csv('./data/titanic/titanic.csv')#print(train_data.head(10)) #打印训练数据前十个train_data.info() #查看训练数据有没有未知的的test_data.info() #查看测试数据有没有未知的的# #查看各部分分布情况## #幸存情况# ax = train_data['Survived'].value_counts().plot(kind = 'bar',figsize = (12,8),fontsize =15,rot = 0)# #value_counts是查询有多少个不同值且每个不同值有多少个重复的# ax.set_ylabel('Counts',fontsize = 15)# ax.set_xlabel('Survived',fontsize = 15)# plt.show()## #年龄分布情况# ax = train_data['Age'].plot(kind = 'hist',bins = 20,color = 'purple',figsize = (12,8),fontsize = 15)# """# hist方法常用的参数有以下几个# 1. bins,控制直方图中的区间个数# 2. color,指定柱子的填充色# 3. edgecolor, 指定柱子边框的颜色# 4. density,指定柱子高度对应的信息,有数值和频率两种选择# 5. orientation,指定柱子的方向,有水平和垂直两个方向# 6. histtype,绘图的类型# """# ax.set_ylabel('Frequency',fontsize = 15)# ax.set_xlabel('Age',fontsize = 15)# plt.show()## #年龄和label的相关性# ax = train_data.query('Survived == 0')['Age'].plot(kind = 'density',figsize = (12,8),fontsize = 15)# #使用python.query()函数对数据框进行(挑选行)的操作# train_data.query('Survived == 1')['Age'].plot(kind = 'density',figsize = (12,8),fontsize = 15)# ax.legend(['Survived ==0','Survived ==1'],fontsize = 12)# #plt.legend()函数主要的作用就是给图加上图例,plt.legend([x,y,z])里面的参数使用的是list的的形式将图表的的名称喂给这和函数。# ax.set_ylabel('Density',fontsize = 15)# ax.set_xlabel('Age',fontsize = 15)# plt.show()#"""数据预处理"""def preprocessing(dfdata):dfresult = pd.DataFrame() #存储结果#DataFrame是Python中Pandas库中的一种数据结构,它类似excel,是一种二维表。#Pclass处理dfPclass = pd.get_dummies(dfdata['Pclass'])#对Pclass进行get_dummies,将该特征离散化dfPclass.columns = ['Pclass_'+str(x) for x in dfPclass.columns]dfresult = pd.concat([dfresult,dfPclass],axis=1)#concat函数是在pandas底下的方法,可以将数据根据不同的轴作简单的融合,axis: 需要合并链接的轴,0是行,1是列#SexdfSex = pd.get_dummies(dfdata['Sex'])dfresult = pd.concat([dfresult, dfSex], axis=1)#Agedfresult['Age'] = dfdata['Age'].fillna(0)dfresult['Age_null'] = pd.isna(dfdata['Age']).astype('int32')#pandas.isna(obj)检测array-like对象的缺失值# SibSp,Parch,Faredfresult['SibSp'] = dfdata['SibSp']dfresult['Parch'] = dfdata['Parch']dfresult['Fare'] = dfdata['Fare']# Carbindfresult['Cabin_null'] = pd.isna(dfdata['Cabin']).astype('int32')# EmbarkeddfEmbarked = pd.get_dummies(dfdata['Embarked'], dummy_na=True)dfEmbarked.columns = ['Embarked_' + str(x) for x in dfEmbarked.columns]#DataFrame.columns属性以返回给定 DataFrame 的列标签。dfresult = pd.concat([dfresult, dfEmbarked], axis=1)return dfresult#获得训练x,yx_train = preprocessing(train_data).valuesy_train = train_data[['Survived']].values#获得测试x,yx_test = preprocessing(test_data).valuesy_test = test_datay[['Survived']].values# print("x_train.shape =", x_train.shape )# print("x_test.shape =", x_test.shape )# print("y_train.shape =", y_train.shape )# print("y_test.shape =", y_test.shape )#"""进一步使用DataLoader和TensorDataset封装成可以迭代的数据管道。"""dl_train = DataLoader(TensorDataset(torch.tensor(x_train).float(),torch.tensor(y_train).float()),shuffle = True, batch_size = 8)dl_valid = DataLoader(TensorDataset(torch.tensor(x_test).float(),torch.tensor(y_test).float()),shuffle = False, batch_size = 8)## # #测试数据管道# for features,labels in dl_valid:#print(features,labels)#break#"""二,定义模型"""def creat_net():net = nn.Sequential()net.add_module("linear1",nn.Linear(15,20))net.add_module("relu1",nn.ReLU())net.add_module("linear2", nn.Linear(20, 15))net.add_module("relu2", nn.ReLU())net.add_module("linear3", nn.Linear(15, 1))net.add_module("sigmoid", nn.Sigmoid())return netnet = creat_net()#print(net)"""三,训练模型"""from sklearn.metrics import accuracy_scoreloss_func = nn.BCELoss()optimizer = torch.optim.Adam(params=net.parameters(),lr=0.01)metric_func = lambda y_pred,y_true:accuracy_score(y_true.data.numpy(),y_pred.data.numpy()>0.5)#lambda表达式是起到一个函数速写的作用。允许在代码内嵌入一个函数的定义。#accuracy_score是分类准确率分数是指所有分类正确的百分比。metric_name = "accuracy"#metric就是准确率epochs = 10log_step_freq = 30dfhistory = pd.DataFrame(columns = ["epoch","loss",metric_name,"val_loss","val_"+metric_name])for epoch in range(1,epochs+1):#开始训练net.train()loss_sum = 0.0metric_sum = 0.0step = 1for step,(features,labels) in enumerate(dl_train,1):optimizer.zero_grad()#正向传播predictions = net(features)loss = loss_func(predictions,labels)metric = metric_func(predictions,labels)#反向传播loss.backward()optimizer.step()#打印batch日志loss_sum += loss.item()metric_sum += metric.item()if step%log_step_freq == 0:print(("[step = %d] loss: %.3f, " + metric_name + ": %.3f") %(step, loss_sum / step, metric_sum / step))#验证循环net.eval()val_loss_sum = 0.0val_metric_sum = 0.0val_step = 1for val_step, (features, labels) in enumerate(dl_valid, 1):predictions = net(features)val_loss = loss_func(predictions, labels)val_metric = metric_func(predictions,labels)val_loss_sum += val_loss.item()val_metric_sum += val_metric.item()#记录日志info = (epoch, loss_sum / step, metric_sum / step,val_loss_sum / val_step, val_metric_sum / val_step)dfhistory.loc[epoch - 1] = info# 打印epoch级别日志print(("\nEPOCH = %d, loss = %.3f," + metric_name + " = %.3f, val_loss = %.3f, " + "val_" + metric_name + " = %.3f")% info)"""四,评估模型"""def plot_metric(dfhistory, metric):train_metrics = dfhistory[metric]val_metrics = dfhistory['val_'+metric]epochs = range(1, len(train_metrics) + 1)plt.plot(epochs, train_metrics, 'bo--')plt.plot(epochs, val_metrics, 'ro-')plt.title('Training and validation '+ metric)plt.xlabel("Epochs")plt.ylabel(metric)plt.legend(["train_"+metric, 'val_'+metric])plt.show()plot_metric(dfhistory,"loss")plot_metric(dfhistory,"accuracy")"""五,使用模型"""y_pred_probs = net(torch.tensor(x_test[0:10]).float()).datay_pred = torch.where(y_pred_probs>0.5,torch.ones_like(y_pred_probs),torch.zeros_like(y_pred_probs))# """# # 六,保存模型# """# #保存模型参数(推荐)# print(net.state_dict().keys())# # 保存模型参数# torch.save(net.state_dict(), "./data/net_parameter.pkl")# net_clone = creat_net()# net_clone.load_state_dict(torch.load("./data/net_parameter.pkl"))# net_clone.forward(torch.tensor(x_test[0:10]).float()).data## #保存完整模型(不推荐)# torch.save(net, './data/net_model.pkl')# net_loaded = torch.load('./data/net_model.pkl')# net_loaded(torch.tensor(x_test[0:10]).float()).data
如果觉得《结构化数据建模——titanic数据集的模型建立和训练(Pytorch版)》对你有帮助,请点赞、收藏,并留下你的观点哦!