机器学习-基础知识 - PR、ROC曲线与AUC

PR曲线与ROC曲线都是机器学习中性能评估的重要指标,本文主要讲这两个曲线。

预备知识

  • 熟悉基础定义TP, FN, FP, TN。
  • 理解主要评估指标概念机器学习-基础知识 - Precision, Recall, Sensitivity, Specificity, Accuracy, FNR, FPR, TPR, TNR, F1 Score, Balanced F Score等。

示例数据

样本编号
1
2
3
4
5
6
7
8
9
10
真实类别
P
P
P
P
P
P
N
N
N
N

预测-1

样本编号
1
2
3
4
5
6
7
8
9
10
预测为正样本
的概率
0.9
0.8
0.7
0.6
0.6
0.4
0.5
0.4
0.3
0.2

预测-2

样本编号
1
2
3
4
5
6
7
8
9
10
预测为正样本
的概率
0.8
0.7
0.7
0.8
0.7
0.4
0.6
0.3
0.3
0.1

PR曲线

含义:PR曲线中P为Precision(查准率),R为Recall(查全率)。以Recall为横坐标、Precision为纵坐标绘制的曲线即为PR曲线。有同学可能会问Precision、Recall不就是一个值么,怎么画出的曲线?

曲线的由来

事实上机器学习训练好的模型在对测试样本进行预测的时候,输出的原始结果是模型预测该样本为正样本的概率,而不是我们平时经常听到的Positive或Negative,而概率如何转化为机器学习的输出靠的是一个阈值,当概率大于阈值则判断其为正样本,反之为负样本。

而这个非常关键的阈值本身不是固定的,在阈值变化过程中模型对样本的预测类别也会相应发生变化,那么阈值不断变化导致模型Precision和Recall变化,将这些点连成线也就是PR曲线了。

绘制示例数据的PR曲线

为直观展示PR曲线绘制过程,根据示例数据绘制PR曲线(简便起见阈值选定为0.05-0.95,跨度0.1)。

阈值
预测-1
预测-2
0.05
TP
FP
TN
FN
TP
FP
TN
FN
6
4
0
0
6
4
0
0
Precision
0.6
Recall
1
Precision
0.6
Recall
1
0.15
TP
FP
TN
FN
TP
FP
TN
FN
6
4
0
0
6
3
1
0
Precision
0.6
Recall
1
Precision
0.67
Recall
1
0.25
TP
FP
TN
FN
TP
FP
TN
FN
6
3
1
0
6
3
1
0
Precision
0.67
Recall
1
Precision
0.67
Recall
1
0.35
TP
FP
TN
FN
TP
FP
TN
FN
6
2
2
0
6
1
3
0
Precision
0.75
Recall
1
Precision
0.86
Recall
1
0.45
TP
FP
TN
FN
TP
FP
TN
FN
5
1
3
1
5
1
3
1
Precision
0.83
Recall
0.83
Precision
0.83
Recall
0.83
0.55
TP
FP
TN
FN
TP
FP
TN
FN
5
0
4
1
5
1
3
1
Precision
1
Recall
0.83
Precision
0.83
Recall
0.83
0.65
TP
FP
TN
FN
TP
FP
TN
FN
3
0
4
3
5
0
4
1
Precision
1
Recall
0.5
Precision
1
Recall
0.83
0.75
TP
FP
TN
FN
TP
FP
TN
FN
2
0
4
4
2
0
4
4
Precision
1
Recall
0.33
Precision
1
Recall
0.33
0.85
TP
FP
TN
FN
TP
FP
TN
FN
1
0
4
5
0
0
4
6
Precision
1
Recall
0.17
Precision
-
Recall
0
0.95
TP
FP
TN
FN
TP
FP
TN
FN
0
0
4
6
0
0
4
6
Precision
-
Recall
0
Precision
-
Recall
0

结果坐标

编号
1
2
3
4
5
6
7
8
9
10
预测-1
Recall
1
1
1
1
0.83
0.83
0.5
0.33
0.17
0
Precision
0.6
0.6
0.67
0.75
0.83
1
1
1
1
-
预测-2
Recall
1
1
1
1
0.83
0.83
0.83
0.33
0
0
Precision
0.6
0.67
0.67
0.86
0.83
0.83
1
1
-
-

PR曲线:

机器学习-基础知识 - PR、ROC曲线与AUC_第1张图片

  • 如果一个学习器的P-R曲线被另一个学习器的P-R曲线完全包住,则可断言后者的性能优于前者,示例数据中根据PR曲线可以看到预测2优于预测1

  • 至于有交叉的情况可以判断曲线下方的面积大小来判断,面积大的性能更好

  • 平衡点(BEP)是P=R时的取值,如果这个值较大,则说明学习器的性能较好

参考性能评估之PR曲线与ROC曲线。

ROC曲线

ROC曲线英文’receiver operating characteristic curve’,直译为“接受者操作特性曲线”,又称为感受性曲线(sensitivity curve)。得此名的原因在于曲线上各点反映着相同的感受性,它们都是对同一信号刺激的反应,只不过是在几种不同的判定标准下所得的结果而已。

ROC曲线是在门限阈值不断变化过程中以虚警概率(FPR)为横轴,击中概率(TPR)为纵轴绘制而成的曲线。

绘制示例数据的ROC曲线

为直观展示ROC曲线绘制过程,根据示例数据绘制ROC曲线(简便起见阈值选定为0.05-0.95,跨度0.1)。

阈值
预测-1
预测-2
0.05
TP
FP
TN
FN
TP
FP
TN
FN
6
4
0
0
6
4
0
0
FPR
1
TPR
1
FPR
1
TPR
1
0.15
TP
FP
TN
FN
TP
FP
TN
FN
6
4
0
0
6
3
1
0
FPR
1
TPR
1
FPR
0.75
TPR
1
0.25
TP
FP
TN
FN
TP
FP
TN
FN
6
3
1
0
6
3
1
0
FPR
0.75
TPR
1
FPR
0.75
TPR
1
0.35
TP
FP
TN
FN
TP
FP
TN
FN
6
2
2
0
6
1
3
0
FPR
0.5
TPR
1
FPR
0.25
TPR
1
0.45
TP
FP
TN
FN
TP
FP
TN
FN
5
1
3
1
5
1
3
1
FPR
0.25
TPR
0.83
FPR
0.25
TPR
0.83
0.55
TP
FP
TN
FN
TP
FP
TN
FN
5
0
4
1
5
1
3
1
FPR
0
TPR
0.83
FPR
0.25
TPR
0.83
0.65
TP
FP
TN
FN
TP
FP
TN
FN
3
0
4
3
5
0
4
1
FPR
0
TPR
0.5
FPR
0
TPR
0.83
0.75
TP
FP
TN
FN
TP
FP
TN
FN
2
0
4
4
2
0
4
4
FPR
0
TPR
0.33
FPR
0
TPR
0.33
0.85
TP
FP
TN
FN
TP
FP
TN
FN
1
0
4
5
0
0
4
6
FPR
0
TPR
0.17
FPR
0
TPR
0
0.95
TP
FP
TN
FN
TP
FP
TN
FN
0
0
4
6
0
0
4
6
FPR
0
TPR
0
FPR
0
TPR
0

结果坐标

编号
1
2
3
4
5
6
7
8
9
10
预测-1
FPR
1
1
0.75
0.5
0.25
0
0
0
0
0
TPR
1
1
1
1
0.83
0.83
0.5
0.33
0.17
0
预测-2
FPR
1
0.75
0.75
0.25
0.25
0.25
0
0
0
0
TPR
1
1
1
1
0.83
0.83
0.83
0.33
0
0

ROC曲线:

机器学习-基础知识 - PR、ROC曲线与AUC_第2张图片

ROC曲线图中,坐标(0,0)代表的含义是虚警概率为0,既没有负样本被判定为正样本,同时召回率也为0,既没有正样本被判定为正样本 —— 也就是此处表示所有样本都判定为了负样本。这是由于阈值选择接近1,导致没有样本被划定到正样本区域内,并不说明模型不好,事实上所有的模型都会经过这一点;

同理,坐标(1,1)表示阈值接近0,所有样本均被判定为正;

坐标(0,1)意味着完美的分类器,在虚警为0的情况下正确判断了所有正样本,这也是我们机器学习人的毕生追求。因此ROC曲线越接近左上角,模型性能越好。

AUC

  • AUC是英文 Area under Curve的缩写,表示的是ROC曲线下的面积,也就是ROC曲线在[0,1]上的积分

  • 这是用来评价模型分类器性能的指标,对不同模型来说,AUC越大表示分类性能越好

  • AUC取值范围为[0,1],有效果的分类器会大于0.5,效果差的会接近0.5

  • 如果有人问为什么不是接近0的效果最差呢? 事实上如果你得到了AUC为0的分类器,只需要对输出取反你就得到了完美的分类器。

你可能感兴趣的:(机器学习,机器学习)