note
文章目录
note一、数据处理1.1 tf.data1.2 tf.keras:1.3 tf.distribute:二、tf2结构化数据建模流程一,准备数据二,定义模型三,训练模型四,评估模型五,使用模型六,保存模型Reference一、数据处理
使用TensorFlow实现神经网络模型的一般流程包括:
1,准备数据
2,定义模型
3,训练模型
4,评估模型
5,使用模型
6,保存模型。
1.1 tf.data
负责数据管理,支持多种数据来源:本地文件、分布式文件系统(数据集很大,HDFS, NFS)、对象存储系统(更大的数据集,S3, OBS, OSS等);
支持多种数据格式:图像文件、文本文件、CSV文件,NumPy数组,Python生成器,TFRecord等;
支持多种数据处理:图像解码,Shuffle, py_function, 重采样
1.2 tf.keras:
相对于原生keras,有分布式和高性能的优势
在TensorFlow中也能写keras,构建和训练模型的高层次API
API完全兼容原生keras
支持保存和加载TensorFlow SavedModel
支持Eager Execution底层动态图引擎,动态debug,开发AI模型。比如pytorch有动态图的特性,tf.keras集成了这一点
1.3 tf.distribute:
很少代码实现分布式;
内置6种不同策略
二、tf2结构化数据建模流程
一,准备数据
titanic数据集的目标是根据乘客信息预测他们在Titanic号撞击冰山沉没后能否生存。
数据集下载:/competitions/titanic/data
结构化数据一般会使用Pandas中的DataFrame进行预处理。
import numpy as np import pandas as pd import matplotlib.pyplot as pltimport tensorflow as tf from tensorflow.keras import models,layersdftrain_raw = pd.read_csv('./data/titanic/train.csv')dftest_raw = pd.read_csv('./data/titanic/test.csv')dftrain_raw.head(10)
字段说明:
Survived:0代表死亡,1代表存活【y标签】Pclass:乘客所持票类,有三种值(1,2,3) 【转换成onehot编码】Name:乘客姓名 【舍去】Sex:乘客性别 【转换成bool特征】Age:乘客年龄(有缺失) 【数值特征,添加“年龄是否缺失”作为辅助特征】SibSp:乘客兄弟姐妹/配偶的个数(整数值) 【数值特征】Parch:乘客父母/孩子的个数(整数值)【数值特征】Ticket:票号(字符串)【舍去】Fare:乘客所持票的价格(浮点数,0-500不等) 【数值特征】Cabin:乘客所在船舱(有缺失) 【添加“所在船舱是否缺失”作为辅助特征】Embarked:乘客登船港口:S、C、Q(有缺失)【转换成onehot编码,四维度 S,C,Q,nan】
利用Pandas的数据可视化功能我们可以简单地进行探索性数据分析EDA(Exploratory Data Analysis)。
label分布情况
%matplotlib inline%config InlineBackend.figure_format = 'png'ax = dftrain_raw['Survived'].value_counts().plot(kind = 'bar',figsize = (12,8),fontsize=15,rot = 0)ax.set_ylabel('Counts',fontsize = 15)ax.set_xlabel('Survived',fontsize = 15)plt.show()
年龄分布情况
%matplotlib inline%config InlineBackend.figure_format = 'png'ax = dftrain_raw['Age'].plot(kind = 'hist',bins = 20,color= 'purple',figsize = (12,8),fontsize=15)ax.set_ylabel('Frequency',fontsize = 15)ax.set_xlabel('Age',fontsize = 15)plt.show()
年龄和label的相关性
%matplotlib inline%config InlineBackend.figure_format = 'png'ax = dftrain_raw.query('Survived == 0')['Age'].plot(kind = 'density',figsize = (12,8),fontsize=15)dftrain_raw.query('Survived == 1')['Age'].plot(kind = 'density',figsize = (12,8),fontsize=15)ax.legend(['Survived==0','Survived==1'],fontsize = 12)ax.set_ylabel('Density',fontsize = 15)ax.set_xlabel('Age',fontsize = 15)plt.show()
下面为正式的数据预处理
def preprocessing(dfdata):dfresult= pd.DataFrame()#PclassdfPclass = pd.get_dummies(dfdata['Pclass'])dfPclass.columns = ['Pclass_' +str(x) for x in dfPclass.columns ]dfresult = pd.concat([dfresult,dfPclass],axis = 1)#SexdfSex = pd.get_dummies(dfdata['Sex'])dfresult = pd.concat([dfresult,dfSex],axis = 1)#Agedfresult['Age'] = dfdata['Age'].fillna(0)dfresult['Age_null'] = pd.isna(dfdata['Age']).astype('int32')#SibSp,Parch,Faredfresult['SibSp'] = dfdata['SibSp']dfresult['Parch'] = dfdata['Parch']dfresult['Fare'] = dfdata['Fare']#Carbindfresult['Cabin_null'] = pd.isna(dfdata['Cabin']).astype('int32')#EmbarkeddfEmbarked = pd.get_dummies(dfdata['Embarked'],dummy_na=True)dfEmbarked.columns = ['Embarked_' + str(x) for x in dfEmbarked.columns]dfresult = pd.concat([dfresult,dfEmbarked],axis = 1)return(dfresult)x_train = preprocessing(dftrain_raw)y_train = dftrain_raw['Survived'].valuesx_test = preprocessing(dftest_raw)y_test = dftest_raw['Survived'].valuesprint("x_train.shape =", x_train.shape )print("x_test.shape =", x_test.shape )
x_train.shape = (712, 15)x_test.shape = (179, 15)
这时候我们看处理好的x_train
数据,已经将字符编码好了:
二,定义模型
使用Keras接口有以下3种方式构建模型:使用Sequential按层顺序构建模型,使用函数式API构建任意结构模型,继承Model基类构建自定义模型。
此处选择使用最简单的Sequential,按层顺序模型。
tf.keras.backend.clear_session()model = models.Sequential()model.add(layers.Dense(20,activation = 'relu',input_shape=(15,)))model.add(layers.Dense(10,activation = 'relu' ))model.add(layers.Dense(1,activation = 'sigmoid' ))model.summary()
Model: "sequential"_________________________________________________________________Layer (type) Output Shape Param # =================================================================dense (Dense)(None, 20)320 _________________________________________________________________dense_1 (Dense) (None, 10)210 _________________________________________________________________dense_2 (Dense) (None, 1) 11 =================================================================Total params: 541Trainable params: 541Non-trainable params: 0_________________________________________________________________
三,训练模型
训练模型通常有3种方法,内置fit方法,内置train_on_batch方法,以及自定义训练循环。此处我们选择最常用也最简单的内置fit方法。
# 二分类问题选择二元交叉熵损失函数pile(optimizer='adam',loss='binary_crossentropy',metrics=['AUC'])history = model.fit(x_train,y_train,batch_size= 64,epochs= 30,validation_split=0.2 #分割一部分训练数据用于验证)
Train on 569 samples, validate on 143 samplesEpoch 1/30569/569 [==============================] - 1s 2ms/sample - loss: 3.5841 - AUC: 0.4079 - val_loss: 3.4429 - val_AUC: 0.4129...Epoch 30/30569/569 [==============================] - 0s 80us/sample - loss: 0.5071 - AUC: 0.8349 - val_loss: 0.5816 - val_AUC: 0.7605
四,评估模型
我们首先评估一下模型在训练集和验证集上的效果。
%matplotlib inline%config InlineBackend.figure_format = 'svg'import matplotlib.pyplot as pltdef plot_metric(history, metric):train_metrics = history.history[metric]val_metrics = history.history['val_'+metric]epochs = range(1, len(train_metrics) + 1)plt.plot(epochs, train_metrics, 'bo--')plt.plot(epochs, val_metrics, 'ro-')plt.title('Training and validation '+ metric)plt.xlabel("Epochs")plt.ylabel(metric)plt.legend(["train_"+metric, 'val_'+metric])plt.show()
plot_metric(history,"loss")
plot_metric(history,"AUC")
我们再看一下模型在测试集上的效果.
model.evaluate(x = x_test,y = y_test)
[0.5191367897907448, 0.8122605]
五,使用模型
#预测概率model.predict(x_test[0:10])#model(tf.constant(x_test[0:10].values,dtype = tf.float32)) #等价写法
array([[0.26501188],[0.40970832],[0.44285864],[0.78408605],[0.47650957],[0.43849158],[0.27426785],[0.5962582 ],[0.59476686],[0.17882936]], dtype=float32)
#预测类别# 这种写法已经在2.5中弃用# model.predict_classes(x_test[0:10])# 推荐使用这种写法(model.predict(x_test[0: 10]) > 0.5).astype("int32")
六,保存模型
可以使用Keras方式保存模型,也可以使用TensorFlow原生方式保存。前者仅仅适合使用Python环境恢复模型,后者则可以跨平台进行模型部署。
推荐使用后一种方式进行保存。
1,Keras方式保存
# 保存模型结构及权重model.save('./data/keras_model.h5') del model #删除现有模型# identical to the previous onemodel = models.load_model('./data/keras_model.h5')model.evaluate(x_test,y_test)
[0.5191367897907448, 0.8122605]
# 保存模型结构json_str = model.to_json()# 恢复模型结构model_json = models.model_from_json(json_str)
#保存模型权重model.save_weights('./data/keras_model_weight.h5')# 恢复模型结构model_json = models.model_from_json(json_str)pile(optimizer='adam',loss='binary_crossentropy',metrics=['AUC'])# 加载权重model_json.load_weights('./data/keras_model_weight.h5')model_json.evaluate(x_test,y_test)
[0.5191367897907448, 0.8122605]
2,TensorFlow原生方式保存
# 保存权重,该方式仅仅保存权重张量model.save_weights('./data/tf_model_weights.ckpt',save_format = "tf")
# 保存模型结构与模型参数到文件,该方式保存的模型具有跨平台性便于部署model.save('./data/tf_model_savedmodel', save_format="tf")print('export saved model.')model_loaded = tf.keras.models.load_model('./data/tf_model_savedmodel')model_loaded.evaluate(x_test,y_test)
[0.5191365896656527, 0.8122605]
Reference
[1] 北大MOOC.人工智能实践:Tensorflow笔记
[2] tensorflow官网:Embeddings: Obtaining Embeddings
[3] 30天吃掉TensorFlow2
[4] https://tf.wiki/
[5] /lyhue1991/eat_tensorflow2_in_30_days
[6] tensorflow.keras.models.Sequential——predict()、predict_classes()、predict_proba()方法的区别
如果觉得《【TF2基础教程1】结构化数据建模流程》对你有帮助,请点赞、收藏,并留下你的观点哦!