【python 机器学习】sklearn ROC曲线与AUC指标

---

sklearn ROC曲线与AUC指标

在机器学习中，评估分类模型的性能不仅仅依赖于准确率，还需要使用一些更全面的指标。尤其在处理二分类问题时，ROC曲线和AUC指标是非常常见且重要的评估工具。这些工具能够帮助我们更直观地理解模型在不同分类阈值下的表现，尤其是在样本不均衡的情况下，能够提供比准确率更有意义的评估。

1. 什么是ROC曲线与AUC？

通俗介绍：

• ROC曲线：就像是在跑步比赛中看不同运动员在不同阶段的表现。你可以看到在每一个时刻，模型在判断对还是错时的表现。
• AUC（曲线下面积）：ROC曲线下方的面积，越大越好。它告诉我们模型整体表现有多好，AUC越接近1，模型就越优秀。

学术解释：

• ROC曲线（Receiver Operating Characteristic Curve）：是一种二分类问题中用于评估分类器性能的工具。ROC曲线绘制了分类器的**真正率（True Positive Rate, TPR）与假正率（False Positive Rate, FPR）**之间的关系。TPR也称为召回率，而FPR是指在实际为负类的样本中，错误地被预测为正类的比例。
  $$TPR=\frac{TP}{TP+FN},FPR=\frac{FP}{FP+TN}$$
  其中，TP是真正例，FP是假正例，TN是真负例，FN是假负例。

• AUC（Area Under the Curve）：即ROC曲线下的面积，是一个综合指标，表示分类器性能的好坏。AUC的值范围从0到1，值越接近1表示分类器的性能越好。AUC值为0.5表示模型没有辨别能力，接近1时表示模型的分类效果优秀。

2. 在 sklearn 中绘制ROC曲线与计算AUC

在sklearn中，绘制ROC曲线和计算AUC可以通过roc_curve和auc这两个函数来实现。我们通过LogisticRegression模型来演示如何计算和绘制ROC曲线以及AUC值。

2.1 导入库和数据

首先，我们导入必要的库，并加载乳腺癌数据集（Breast Cancer Dataset）进行演示。

import numpy as np
import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

2.2 加载数据集

# 加载乳腺癌数据集
cancer_data = load_breast_cancer()

# 获取特征和标签
X = cancer_data.data
y = cancer_data.target

# 拆分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

2.3 训练模型

使用LogisticRegression模型训练数据。

# 创建逻辑回归模型
logreg = LogisticRegression(max_iter=10000)

# 训练模型
logreg.fit(X_train, y_train)

2.4 预测概率

ROC曲线需要模型输出的预测概率，而不仅仅是预测的标签。因此，我们需要获取预测的概率值，而不是直接的类别标签。

# 获取测试集的预测概率（返回每个样本属于正类的概率）
y_prob = logreg.predict_proba(X_test)[:, 1]

2.5 计算FPR、TPR和AUC

使用roc_curve计算FPR和TPR，并使用auc计算AUC值。

# 计算FPR和TPR
fpr, tpr, thresholds = roc_curve(y_test, y_prob)

# 计算AUC
roc_auc = auc(fpr, tpr)

print(f"AUC值: {roc_auc:.4f}")

2.6 绘制ROC曲线

我们可以使用matplotlib绘制ROC曲线，直观地查看模型在不同阈值下的表现。

# 绘制ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'ROC曲线 (AUC = {roc_auc:.4f})')
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')  # 随机分类器（AUC = 0.5）
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('假正率 (FPR)')
plt.ylabel('真正率 (TPR)')
plt.title('ROC 曲线')
plt.legend(loc='lower right')
plt.show()

3. 解析ROC曲线和AUC值

• ROC曲线：

  • 横轴是假正率（FPR），纵轴是真正率（TPR）。ROC曲线越接近左上角，说明分类器越好。理想情况下，TPR要尽可能高，且FPR要尽可能低。
  • 如果模型表现不好，ROC曲线将接近对角线（即AUC接近0.5），这意味着模型无法有效区分正负类。

• AUC值：

  • AUC的值在0到1之间，越接近1表示模型的性能越好。如果AUC值接近0.5，则说明模型没有比随机猜测更好的效果，几乎不能进行有效分类。
  • 理想的AUC值是1，表示完美的分类器。

4. 总结

• ROC曲线是用于评估二分类模型性能的工具，能够显示模型在不同阈值下的表现。它通过绘制假正率（FPR）与真正率（TPR）之间的关系，帮助我们评估模型分类效果。
• **AUC（Area Under the Curve）**是ROC曲线下方的面积，它综合反映了分类模型的性能。AUC越接近1，模型的性能越好。
• 在 sklearn 中，计算和绘制ROC曲线以及计算AUC值可以通过roc_curve、auc和matplotlib等工具方便地实现。
• AUC是一个比准确率更具代表性的指标，尤其适用于数据不平衡的情况。通过AUC和ROC曲线，我们可以全面评估分类模型的好坏。

通过分析ROC曲线和AUC值，能够更深入地理解模型的性能，特别是在面对不同阈值时的表现。因此，ROC和AUC是二分类问题中不可或缺的评估工具。