【ACM MM会议-2024工业异常检测】FiLo++:融合细粒度描述和形变定位的零样本/少样本异常检测

论文链接：
代码

摘要

• 写目前异常检测方法的限制
  需要大量目标类别的正常样本-》限制去快速适应场景

Anomaly detection methods typically require extensive normal samples from the target class for training, limiting their applicability in scenarios that require rapid adaptation, such as cold start.

• 提出零样本和少样本研究
  零样本和少样本不需要目标类的标记样本

Zero-shot and few-shot anomaly detection do not require labeled samples from the target class in advance, making them a promising research direction.

• 总结目前的零样本和少样本方法
  1.用多模态模型 2.比较图像文本相似度来检测异常

Existing zero-shot and few-shot approaches often leverage powerful multimodal models to detect and localize anomalies by comparing imagetext similarity.

• 指出目前零样本和少样本的研究缺陷
  1.通用描述无法捕获不同对象的异常 2.简单的补丁级图像-文本匹配不好定位不同形状和大小的异常区域

• 提出自己的方法Filo++

• • 方法组成
• • • 1.FusDes:用语言模型为每个类别生成异常描述，结合固定和可学习提示模板，提示过滤方法，生成更准确和特定任务的文本描述（解决无法捕获不同对象的异常的问题）
• • • 2.变形定位（DefLoc）:结合DINO和多尺度变形跨模态（MDCI）-》能准确定位各种形状和尺寸的异常（解决不好定位不同形状和大小的异常）

• 位置增强的补丁匹配方法

• 实验结果

Experiments on multiple datasets demonstrate that FiLo++ achieves significant performance improvements compared with existing methods