深度学习笔记(十):深度学习评估指标

专业名词解释

• HTC (Hybrid Task Cascade) - 混合任务级联
• bounding box - 边界矩形框
• RoI(Region of Interest) - 感兴趣区域
• Rol Pooling - Rol 池化(RoI Pooling = crop feature + resize feature)
• Rol Align - 解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题,提升检测模型的准确性。
• FCN-全卷积网络
• dense local reression - 稠密局部回归
• binary overlap prediction - 二值交叠预测
• discriminative RoI pooling - 判别性RoI池化
• local box offsets - 多个局部框偏移量
• backbone - 骨干网
• region proposal network - 区域生成网络
• anchor - 候选窗口
• NMS - 非极大值抑制
• conv：
  1.相当于一个特征提取器来提取特征
  2.提供了位置信息
  3.减少了参数个数
• pooling:1.提取特征 2.减少参数
• average pooling：对邻域内特征点只求平均,更多的保留图像的背景信息
• max pooling：对邻域内特征点取最大,更多的保留纹理信息
• RoI Pooling Layer - ROI Pooling 的作用是根据预选框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图，以便进行后续的分类和包围框回归操作。
• RoI Align Layer - 将RoI Pooling的最近零插值转换为双线性插值，size归一化，是一种区域特征聚集方式,提升模型的准确性。
• fc：
  一:起到分类器的作用。对前层的特征进行一个加权和
  二:1*1卷积等价于fc，包围框的修正
  三:减少参数，防止过拟合
  四:fc利用的是上一层所有输入来计算，抛弃了卷积层不同位置的权值共享。特征层提取一个物体的各个部分，不同特征，然后通过fc整合到一起
• Recall - 召回率
• Precision - 精确率
• Average_precision(AP) - 平均正确率
• Intersection-over-Union（IoU） - 交并比(“预测的边框” 和 “真实的边框” 的交集和并集的比值。)
• State-of-the-art - 最先进的方法
• mask - 掩膜(两幅图像之间进行的各种位运算操作1 & 1 = 1/1 & 0 = 0),可提取rol区域、结构特征提取、特殊形状图像的制作。
• SVM - 目标分类识别
• 拟合（Fitting） - 就是说这个曲线能不能很好的描述某些样本，并且有比较好的泛化能力。
• 过拟合（Overfitting） - 就是太过贴近于训练数据的特征了，在训练集上表现非常优秀，近乎完美的预测/区分了所有的数据，但是在新的测试集上却表现平平，不具泛化性，拿到新样本后没有办法去准确的判断。我们可以增大数据量，正则化，丢弃Dropout(把其中的一些神经元去掉)
• 欠拟合（UnderFitting） - 测试样本的特性没有学到，或者是模型过于简单无法拟合或区分样本。(优化模型可解决)

---

一级指标

• TP(True Positive) - 真实值是positive,模型认为是positive的数量
• FN(False Negative) - 真实值是positive,模型认为是negative的数量
• FP(False Positive) - 真实值是negative,模型认为是positive的数量
• TN(True Negative) - 真实值是negative,模型认为是negative的数量

二级指标

通过上面的四个二级指标，可以将混淆矩阵中数量的结果转化为0-1之间的比率。便于进行标准化的衡量。

深度学习评估指标

• C75: 在IOU=0.75条件下，recall-AP曲线下的面积
• C50: 在IOU=0.5条件下，recall-AP曲线下的面积
• Loc: 在IoU=0.1条件下，recall-AP曲线下的面积(由于此时IoU的阈值很小，可以认为忽略了定位误差，但保证了不会重复检测——localization errors ignored, but not duplicate detections)
• Sim: 去除相似类别的混淆后的recall-AP曲线下的面积
• Oth: 不同类别之间的混淆后的recall-AP曲线下的面积
• BG: 去除背景上的假正例后的recall-AP曲线下的面积
• FN: 所有错误都去掉后的recall-AP曲线下的面积
• Precision-Recall Curve ------Precision-Recall 的曲线
• [email protected] - 0.5是指iou的重合度阈值情况下的map的均值
• [email protected]:.95 - 计算iou阈值从0.5–0.95（步长为0.05）的不同情况下的map的均值
• APsmall - 对于小目标的AP(<32^2)
• APmedium - 对于中目标的AP(32^2-96**2)
• APlarge - 对于大目标的AP(>96^2)
• ARmax=1 - 对每幅图像进行一次检测后的平均召回率
• ARmax=10 - 对每幅图像进行十次检测后的平均召回率
• ARmax=100- 对每幅图像进行一百次检测后的平均召回率
• ARsmall - 对于小目标的AR(<32^2)
• ARmedium - 对于中目标的AR(32^2-96**2)
• ARlarge - 对于大目标的AR(>96^2)
• Top-1 acc：只判断概率最大的结果是否是正确答案，如果是则准确。
• Top-5 acc：指比如你训练好了一个网络，你要用这个网络去进行图片分类任务，假设要分类的数目有50类，那么当我们进行测试时，输入一张图片，网络会依次输出这50个类别的概率，当所有图片测试完成后，那么：TOP-5正确率就是说在测试图片的50个分类概率中，取前面5个最大的分类概率，看我们输入的这张图片是不是在这五个分类当中，如果在就分类成功，反之则失败。

---