异常检测/EfficientAD: Accurate Visual Anomaly Detection at Millisecond-Level Latencies 延迟在毫秒级别的精准的视觉异常检测

一、EfficientAD: Accurate Visual Anomaly Detection at Millisecond-Level Latencies 延迟在毫秒级别的精准的视觉异常检测

paper&code：https://paperswithcode.com/paper/efficientad-accurate-visual-anomaly-detection

1.1 摘要

摘要：检测图像中的异常是一项重要的任务，特别是在实时计算机视觉应用中。在这个工作中，我们关注计算效率并提出处理图像的轻量级特征提取器在现代GPU上不到一毫秒。然后我们使用学生-教师方法检测异常特征。我们训练一个学生网络来预测所提取的特征正常的，即无异常的训练图像。 在测试时检测异常是由于学生无法预测其特征。我们提出了一种训练损失，阻碍学生模仿教师特征提取器超出正常图像。它使我们大大降低了学生-教师模型的计算成本，同时提高了异常特征的检测。我们进一步解决了具有挑战性的逻辑异常的检测包括正常局部特征的无效组合，例如，错误的对象顺序。 我们检测到这些通过有效地整合自动编码器来实现异常全局分析图像。我们方法称为EfficientAD，在三个工业异常的32个数据集上检测数据集来评估我们的方法。EfficientAD为异常检测和定位设定了新的标准。延迟为2毫秒，吞吐量为每秒600张图像，它可以实现快速处理的异常。 再加上它的低错误率，这使得它是实际应用程序的经济解决方案为今后的研究奠定了卓有成效的基础。

摘要理解：

1. 介绍方法，训练学生网络，在实际的代码中，数据集格式为mvtec，训练数据集只有正样本，测试数据集包含正样本和负样本，正样本也会检测出异常说明学生网络训练的不够，要待结果中的正样本检测不出异常，才说明学生网络训练ok，然后看测试图片中异常的检测情况，才能说明该网络是否适用我们的数据集。
2. 说明可以解决在逻辑方面的异常，比如组合的异常，这个特别强调，应该是在当时发表的时候现有的工作还没有这个方面的，总之这个工作可以解决组合的异常。
3. 说明测试数据集，以及检测速度刷新的标准。EfficientAD现在确实在paperwithcode榜首，是有点东西。

1.2 介绍

表明了作者的主要贡献：

1. 我们在工业基准上大幅提高了异常检测和定位的技术水平，延迟为2毫秒，吞吐量超过每秒600张图像。
2. 我们提出了一种有效的网络架构，与最近使用的特征提取器相比，将特征提取速度提高了一个数量级。
3. 我们引入了一个训练损失，在不影响推理运行时的情况下显著提高了学生-教师模型的异常检测性能。
4. 我们实现了一种高效的基于自动编码器的逻辑异常检测，并提出了一种将检测结果与学生-教师模型的检测结果进行校准组合的方法。

1.3 方法

其他的就略了，感兴趣看下原文或者参考其他的博客，这篇写的比较清楚了。

这里主要记录下方法，原文从四个方面来阐述：1. 从预训练模型提取特征；2. 提出新颖的loss来加快训练不影响推理速度；3. 提出自编码器来检测逻辑上的异常；4. 提供将自编码器的检测结果与师生模型的检测结果进行校准和结合的解决方案；

1.3.1 高校的Patch描述器

作者举例S-T方法¹参数量只有1.6~2.7百万/每模型，但比31百万参数的U-Net²的耗时更长，使用内存更多，说明参数量是误导延时、吞吐量和内存占用的一个衡量指标。

现代分类体系结构通常在早期执行下采样，以减少特征映射的大小，从而减少运行时和内存需求。我们通过在第一层和第二层卷积层之后的跨行平均池化层在我们的PDN中实现了这一点。

为了使PDN产生具有表现力的特征，我们提取了一个深度预训练的分类网络。为了进行对照比较，我们使用PatchCore相同的预训练网络——WideResNet-101。我们通过最小化其输出与从预训练网络中提取的特征之间的均方差来在ImageNet的图像上训练PDN。我们在附录A.2中提供了训练超参数的完整列表。除了更高的效率外，与最近使用的深度网络相比，PDN还有另一个好处。通过设计，PDN生成的特征向量仅依赖于其各自33×33块的像素。另一方面，预训练分类器的特征向量表现出对图像其他部分的长程依赖性。如图3所示，以PatchCore的特征提取器为例。PDN的良好定义的接受野确保了图像一部分的异常不会触发其他远端部分的异常特征向量，否则会损害异常的定位。

理解： 这里说明的好处是，由于是分开的33X33的patch中去提取特征，则限定了范围不会影响图像的其他区域。

1.3.2 轻量化的老师-学生模型

这里作者表达了以前的S-T老师学生模型，增加训练图片会提高学生模仿老师在异常特征的能力，这会恶化异常检测的性能。同时，降低训练图片的数量也会减少在正常图片上的重要信息。作者提出的方法，是提供足够的图片训练去充分模仿老师在正常图片上的特征，而避免去对异常图片泛化。跟挖掘难例类似，作者把loss限制在图片相关的部分。作者提出难特征loss，把最高的loss进行反向传播。

具体公式参考这篇文章解析（写的很好，我就偷个小懒）：参考³

1.3.3 逻辑异常检测

引入自编码器，然后有$L_{AE}$为Teacher和autoencoder之间的loss：

然后还有autoencoder和student另一个分支的STAE的loss

最后的$L=L_{ST}+L_{AE}+L_{STAE}$

1.3.4 异常图片归一化

参考³

---

1. Paul Bergmann, Michael Fauser, David Sattlegger, and Carsten Steger. Uninformed Students: Student-Teacher Anomaly Detection
   With Discriminative Latent Embeddings. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4182–
   4191, 2020. 2, 3, 4, 6, 17 ↩︎

2. Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In Medical
   Image Computing and Computer-Assisted Intervention – MICCAI 2015, pages 234–241. Springer International Publishing, 2015. 3 ↩︎

3. https://zhuanlan.zhihu.com/p/630829222 ↩︎ ↩︎