【机器学习笔记 Ⅱ】9 模型评估

评估机器学习模型是确保其在实际应用中有效性和可靠性的关键步骤。以下是系统化的评估方法，涵盖分类、回归、聚类等任务的评估指标和技术：

---

一、分类模型评估

1. 基础指标

2. 高级指标

• ROC-AUC：

  • 通过绘制真正例率（TPR） vs 假正例率（FPR）曲线下面积评估模型整体性能。
  • AUC=1：完美分类；AUC=0.5：随机猜测。
  • 适用于二分类及多分类（OvR或OvO策略）。

• 混淆矩阵：

  • 可视化模型在各类别上的具体错误（如将猫误判为狗）。

  from sklearn.metrics import confusion_matrix
  cm = confusion_matrix(y_true, y_pred)
  

3. 多分类与多标签评估

• 多分类：使用宏平均（Macro）或微平均（Micro）F1。

  from sklearn.metrics import f1_score
  f1_macro = f1_score(y_true, y_pred, average='macro')  # 各类别平等权重
  

• 多标签：
  • Hamming Loss：错误预测的标签