AI面试第六弹(评价指标)

一、分类问题指标

分类问题的评价指标多是基于以下混淆矩阵
·真实值是positive，模型认为是positive的数量（True Positive=TP）
·真实值是positive，模型认为是negative的数量（False Negative=FN）：这就是统计学上的第二类错误（Type II Error）
·真实值是negative，模型认为是positive的数量（False Positive=FP）：这就是统计学上的第一类错误（Type I Error）
·真实值是negative，模型认为是negative的数量（True Negative=TN）

混淆矩阵.png

1、准确率（Accuracy）：识别对了的正例（TP）与负例（TN）占总识别样本的比例。
2、精确率（Precision）：识别对了的正例（TP）占识别出的正例的比例。其中，识别出的正例等于识别对了的正例加上识别错了的正例。
3、召回率（Recall）：识别对了的正例（TP）占实际总正例的比例。其中，实际总正例等于识别对了的正例加上识别错了的负例（真正例+伪负例）。
4、F-Score，是召回率R和精度P的加权调和平均，顾名思义即是为了调和召回率R和精度P之间增减反向的矛盾，该综合评价指标F引入了系数α对R和P进行加权调和

F-score.png

5、ROC曲线，也称受试者工作特征。以FPR为横轴，TPR为纵轴，绘制得到的曲线就是ROC曲线。ROC曲线下的面积即为AUC。面积越大代表模型的分类性能越好。

ROC曲线.png

6、AUC：随机挑选一个正样本以及负样本，算法将正样本排在负样本前面的概率就是AUC值。 M为正类样本的数目，N为负类样本的数目。

AUC计算公式.png

特点：AUC的评价效果不受正负样本比例的影响。因为改变正负样本比例，横纵坐标大小同时变化。整体不变。

二、回归问题评价指标：

1、MAE（Mean Absolute Error）是绝对误差的平均值。可以更好地反映预测值误差的实际情况
2、MSE是真实值与预测值的差值的平方然后求和平均。通过平方的形式便于求导，所以常被用作线性回归的损失函数。
3、RMSE（Root Mean Square Error）衡量观测值与真实值之间的偏差。常用来作为机器学习模型预测结果衡量的标准。 受异常点影响较大。

RMSE计算公式.png

4、R-square(决定系数),分母理解为原始数据的离散程度，分子为预测数据和原始数据的误差，二者相除可以消除原始数据离散程度的影响。

R-square计算公式.png

（此处的R即相关系数，相关系数的平方就是决定系数R-Square。其中分母的y_mean是y_actual的mean。）
分子是残差的平方之和；分母是总方差；把“1减”揉进分式后，变成了“（总方差 - 残差平方和）/ 总方差 ”。
所以，R-Square理解成 “预测的误差的方差”小于实际情况的方差的比例。