深度学习中模型好坏的所有评价指标汇总（混淆矩阵、recall、precision、F1score、AUC面积、ROC曲线、ErrorRate）

导航

0、混淆矩阵1、AUC面积2、ROC曲线3、F1score

0、混淆矩阵

true positives (TP): 在这些情况下，我们预测“yes”(他们有这种病)，并且他们确实有这种病。//正确的将其预测为正样本true negatives (TN):我们预测“no”，事实上他们确实没有患病。//正确的将其预测为负样本false positives (FP): 我们预测“yes”，但是他们实际上并没有患病。(也称为“第一类错误”。) //错误的将其预测为正样本false negatives (FN): 我们预测“no”，但他们确实有这种疾病。(也称为“第二类错误”。) //错误的将其预测为负样本假正率 / 假阳性率 FPR：预测为正例但实际为负例的样本占所有负例样本（真实结果为负样本）的比例。//假阳性率：错误的将其预测为正样本的个数占所有负样本的比例FPR=FP / (FP+TN)召回率recall / 敏感度Sensitivity / 真正率 TPR：预测为正例且实际为正例的样本占所有正例样本（真实结果为正样本）的比例。//正确的将其预测为正样本的个数占所有正样本的比例TPR=TP / (TP+FN)特异度Specificity：正确的将其预测负样本的个数占所有负样本的比例Specificity=TN / (TN+FP)阳性预测值Positive predictive value PPV/ precision：正确的将其预测为正样本的个数占所有预测为正样本的比例// 预测为正样本中，有多少是真正的正样本PPV / Precision=TP / (TP+FP)阴性预测值Negative predictive value NPV：正确的将其预测为负样本的个数占所有预测为负样本的比例// 预测为负样本中，有多少是真正的负样本NPV=TN / (FN+TN)解析上表总共有40个正样本，20个负样本；其中，有38个正样本被预测为正样本，有2个正样本被预测为负样本；其中，有18个负样本被预测为负样本，有2个负样本被预测为正样本；其中，假正率FPR为 2/(2+18)=0.1其中，召回率 / 敏感度 / 真正率TPF为 38/(38+2)=0.95医学领域敏感度/召回率更关注漏诊率（有病之人不能漏）特异度更关注误诊率（无病之人不能误）假正率 / 假阳性率= 1 - 特异度，假阳性越多，误诊越多阳性预测值 / 精确率，是看预测为阳性中，有多少是真阳性阴性预测值是看预测为阴性中，有多少是真阴性

1、AUC(Area under curve)

常用于二分类模型

理解1：ROC曲线下的面积

理解2：随机抽出一对样本(一个正样本，一个负样本)，然后用训练得到的分类模型来对这两个样本进行预测，预测得到正样本的概率大于负样本概率的概率

优点：

它不受类别不平衡问题的影响，不同的样本比例不会影响AUC的评测结果。在训练时，可以直接使用AUC作为损失函数

计算方式1：

在有M个正样本,N个负样本的数据集里。一共有MN对样本（一对样本即，一个正样本与一个负样本）。统计这MN对样本里，正样本的预测概率大于负样本的预测概率的个数假设有4条样本。2个正样本，2个负样本，那么M*N=4。

即总共有4个样本对。分别是：

（d,b）,（d,a）,(c,b),（c,a）

在（d,b）样本对中，正样本d预测的概率大于负样本b预测的概率（也就是d的得分比b高），记为1

同理，对于（c,b）。正样本c预测的概率小于负样本b预测的概率，记为0

因此，AUC=(1+1+1+0)/4 = 0.75

计算方式2：

对预测概率从高到低排序

对每一个概率值设一个rank值（最高的概率的rank为n,第二高的为n-1）

rank实际上代表了该score（预测概率）超过的样本的数目

为了求的组合中正样本的score值大于负样本，如果所有的正样本score值都是大于负样本的，那么第一位与任意的进行组合score值都要大，我们取它的rank值为n，但是n-1中有M-1是正样例和正样例的组合这种是不在统计范围内的（为计算方便我们取n组，相应的不符合的有M个），所以要减掉，那么同理排在第二位的n-1，会有M-1个是不满足的，依次类推，故得到后面的公式M*(M+1)/2，我们可以验证在正样本score都大于负样本的假设下，AUC的值为1

除以M*N

-

tips：相等概率得分的样本，无论正负，谁在前，谁在后无所谓。

正样本为狗：数量为4；

负样本为其他：数量为3

由于只考虑正样本的rank值：

对于正样本b，其rank值为（5+4+3+2）/4 = 7/2

对于正样本c，其rank值为（5+4+3+2）/4 = 7/2

对于正样本f，其rank值为 6

对于正样本g，其rank值为 7

AUC={ 6+7+7/2+7/2- [ 4*(4+1) ] /2 } / (4*3) =0.834

python实现

import numpy as npfrom sklearn.metrics import roc_curvefrom sklearn.metrics import aucy = np.array([1,1,0,0,1,0,1,0,])pred = np.array([0.77, 0.8, 0.6, 0.1,0.4,0.9,0.66,0.7])fpr, tpr, thresholds = roc_curve(y, pred, pos_label=1)print("AUC:",auc(fpr, tpr))

AUC: 0.5625

2、ROC曲线(receiver operating characteristic curve)

用来衡量一个二分类学习器的好坏；如果一个学习器的ROC曲线能将另一个学习器的ROC曲线完全包住，则说明该学习器的性能优于另一个学习器；纵坐标：TPR= TP/(TP+FN) （真正率 / 召回率 / 敏感度 ）横坐标：FPR= FP/(FP+TN) （假正率 / 假阳性率）

python实现

import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport sklearn.metrics as metricsdef plot_ROC(labels,preds,savepath):"""Args:labels : ground truthpreds : model predictionsavepath : save path """# fpr1, tpr1, threshold1 = metrics.roc_curve(labels, preds) ###计算真正率和假正率fpr, tpr, thresholds = roc_curve(y, pred, pos_label=1)roc_auc1 = metrics.auc(fpr, tpr) ###计算auc的值，auc就是曲线包围的面积，越大越好plt.figure()lw = 2plt.figure(figsize=(10, 10))plt.plot(fpr, tpr, color='darkorange',lw=lw, label='AUC = %0.2f' % roc_auc1) ###假正率为横坐标，真正率为纵坐标做曲线plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')plt.xlim([-0.05, 1.05])plt.ylim([-0.05, 1.05])plt.xlabel('1 - Specificity')plt.ylabel('Sensitivity')# plt.title('ROCs for Densenet')plt.legend(loc="lower right")# plt.show()plt.savefig(savepath) #保存文件if __name__=="__main__":y = np.array([1,1,0,0,1,0,1,0,])pred = np.array([0.77, 0.8, 0.6, 0.1,0.4,0.9,0.66,0.7])savepath="./ROC.jpg"plot_ROC(y, pred, savepath)

结果如下图所示：

绘制两个模型的ROC曲线

def plot_ROC_2(labels1, preds1, labels2, preds2,savepath):"""Args:labels1 : ground truthpreds1 : model predictionsavepath : save path"""plt.figure()plt.figure(figsize=(10, 10))fpr1, tpr1, threshold1 = metrics.roc_curve(labels1, preds1) ###计算真正率和假正率roc_auc1 = metrics.auc(fpr1, tpr1) ###计算auc的值，auc就是曲线包围的面积，越大越好plt.plot(fpr1, tpr1, color='darkorange', lw=2, label='AUC = %0.4f' % roc_auc1) ###假正率为横坐标，真正率为纵坐标做曲线fpr2, tpr2, threshold2 = metrics.roc_curve(labels2, preds2) ###计算真正率和假正率roc_auc2 = metrics.auc(fpr2, tpr2) ###计算auc的值，auc就是曲线包围的面积，越大越好plt.plot(fpr2, tpr2, color='red', lw=2, label='AUC = %0.4f' % roc_auc2) ###假正率为横坐标，真正率为纵坐标做曲线plt.xlim([-0.05, 1.05])plt.ylim([-0.05, 1.05])plt.xlabel('1 - Specificity')plt.ylabel('Sensitivity')# plt.title('ROCs for Densenet')plt.legend(loc="lower right")plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')plt.show()# plt.savefig(savepath) # 保存文件if __name__=="__main__":y1 = np.array([1, 1, 0, 0, 1, 0, 1, 0, ])pred1= np.array([0.77, 0.8, 0.6, 0.1, 0.4, 0.9, 0.66, 0.7])y2 = np.array([0, 1, 1, 1, 1, 1, 0, 0, ])pred2 = np.array([0.87, 0.91, 0.6, 0.67, 0.3, 0.9, 0.16, 0.8])savepath="./"plot_ROC_2(y1,pred1,y2,pred2, savepath)

3、F1score

用于平衡精准度precision和召回率recall / 敏感度Sensitivity / 真正率这两种指标，只有当这两个指标都很高时，F1才会高python脚本如下

"""Precision = tp/tp+fpRecall = tp/tp+fn进而计算得到：F1score = 2 * Precision * Recall /（Precision + Recall）"""import numpy as npimport matplotlib.pyplot as pltfig = plt.figure() #定义新的三维坐标轴ax3 = plt.axes(projection='3d')#定义三维数据precision = np.arange(0.01, 1, 0.1)recall = np.arange(0.01, 1, 0.1)X, Y = np.meshgrid(precision, recall) # 用两个坐标轴上的点在平面上画网格Z = 2*X*Y/(X+Y)# 作图ax3.plot_surface(X, Y, Z, rstride = 1, cstride = 1, cmap='rainbow')plt.xlabel('precision')plt.ylabel('recall')plt.title('F1 score')plt.show()

如果觉得《【深度学习中模型评价指标汇总（混淆矩阵 recall precision F1 AUC面积 ROC曲线 ErrorRate）】》对你有帮助，请点赞、收藏，并留下你的观点哦！