【TPAMI2024】计算机视觉|即插即用|FreqFusion:炸裂！告别模糊，精准分割，视觉新高度！

论文地址：https://arxiv.org/pdf/2408.12879
代码地址：https://github.com/Linwei-Chen/FreqFusion

---

关注UP CV缝合怪，分享最计算机视觉新即插即用模块，并提供配套的论文资料与代码。
https://space.bilibili.com/473764881

摘要

密集图像预测任务需要在高分辨率下具有强大的类别信息和精确空间边界细节的特征。为了实现这一点，现代分层模型通常利用特征融合，直接将来自深层的粗略特征和来自较低层的、分辨率较高的特征相加。本研究观察到融合特征值在对象内部快速变化，由于高频特征的干扰导致类别内部不一致。此外，融合特征中模糊的边界缺乏准确的高频信息，导致边界位移。基于这些观察，本研究提出了频率感知特征融合（FreqFusion），它集成了自适应低通滤波器（ALPF）生成器、偏移生成器和自适应高通滤波器（AHPF）生成器。ALPF生成器预测空间变化的低通滤波器，以衰减对象内部的高频分量，减少上采样过程中的类内不一致性。偏移生成器通过重采样，用更一致的特征替换不一致的特征来细化大的不一致特征和细边界，而AHPF生成器增强了下采样过程中丢失的高频边界细节信息。全面的可视化和定量分析表明，FreqFusion有效地提高了特征一致性并锐化了对象边界。跨各种密集预测任务的大量实验证实了其有效性。

引言

密集图像预测任务要求特征在高分辨率下具备强大的类别信息和精确的空间边界细节。为了实现这一目标，现代分层模型通常利用特征融合，直接将来自深层的粗粒度特征上采样后与来自较低层的高分辨率特征相加。本研究观察到，融合特征值在对象内部变化迅速，由于高频特征的扰动导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频信息，导致边界位移。基于这些观察，本研究提出了频率感知特征融合（FreqFusion），它集成了自适应低通滤波器（ALPF）生成器、偏移生成器和自适应高通滤波器（AHPF）生成器。ALPF 生成器预测空间变化的低通滤波器，以衰减对象内部的高频分量，从而减少上采样过程中的类内不一致性。偏移生成器通过重采样，用更一致的特征替换不一致的特征，从而细化大面积不一致特征和细边界，而 AHPF 生成器增强了下采样过程中丢失的高频边界细节信息。全面的可视化和定量分析表明，FreqFusion 有效地提高了特征一致性并锐化了对象边界。跨各种密集预测任务的广泛实验证实了它的有效性。

论文创新点

FreqFusion：一种频率感知的密集图像预测特征融合模块

本博客介绍一篇关于密集图像预测任务中特征融合的新方法——FreqFusion。FreqFusion模块旨在解决两个关键问题：类别内不一致性和边界位移。让我们深入了解FreqFusion的五个核心创新点：

1. **类别内高频分量自适应平滑：**

   • 问题：同一类别目标内部，融合特征值变化剧烈，导致类别内不一致性。
   • 解决方案：设计自适应低通滤波器（ALPF）生成器。该生成器预测空间变化的低通滤波器，在对高层特征上采样的过程中自适应地平滑特征，减少目标内部高频分量的干扰，提高类别内特征的一致性。
   • 优势：相比传统的固定核插值方法，空间变化的低通滤波器能够更好地适应目标内部特征的变化，避免过度平滑导致的边界模糊。

2. 基于局部相似性的特征重采样：

   • 问题：ALPF生成器在处理大面积不一致特征或细小边界区域时仍存在局限性。
   • 解决方案：引入偏移生成器。基于“低类别内相似度特征的邻域通常存在高类别内相似度特征”的观察，计算局部相似度并预测指向高相似度方向的偏移量。
   • 优势：通过偏移量对特征进行重采样，用邻域中具有更高类别内相似度的特征替换当前的不一致特征，精细化目标内部和边界区域的特征表示。

3. ➕ 低层特征高频细节增强： ➕

   • 问题：高层特征下采样后丢失了低层特征中包含的精细边界信息。
   • 解决方案：设计自适应高通滤波器（AHPF）生成器。该生成器预测空间变化的高通滤波器，用于提取低层特征中无法通过上采样恢复的高频边界细节信息。
   • 优势：增强高频信息，锐化目标边界，提高边界定位的精度。

4. ✨ 增强型初始融合： ✨

   • 问题：传统的初始融合方法（如双线性插值）会导致边界模糊，无法有效捕捉高频信息，影响后续生成器的性能。
   • 解决方案：提出增强型初始融合方法，利用ALPF和AHPF生成器分别对高层特征进行上采样和增强低层特征的高频信息。
   • 优势：提供更精细的初始融合特征，提升后续生成器的性能。

5. 特征相似性分析：

   • 方法：引入特征相似性分析指标，包括类别内相似度、相似度边界和相似度精度。
   • 优势：更准确地评估特征表示的判别能力，为特征融合方法的设计和分析提供更可靠的依据。

论文实验