SegNetr: 重新思考 U 形网络中的局部-全局交互和跳过连接

会议分析

论文出处： arXiv预印版
除了没有代码，其余没毛病

摘要

近年来，U 形网络因其简单且易于调整的结构而在医学图像分割领域占据主导地位。然而，现有的U型分割网络：1）大多侧重于设计复杂的自注意力模块来弥补基于卷积运算的长期依赖性的不足，这增加了网络的总体参数数量和计算复杂度； 2）简单地融合编码器和解码器的特征，忽略它们空间位置之间的联系。在本文中，我们重新思考上述问题并构建了一个轻量级的医学图像分割网络，称为SegNetr。具体来说，我们引入了一种新颖的 SegNetr 模块，它可以在任何阶段动态地执行局部-全局交互，并且仅具有线性复杂度。同时，我们设计了**通用信息保留跳跃连接（IRSC）**来保留编码器特征的空间位置信息并实现与解码器特征的精确融合。我们在四个主流医学图像分割数据集上验证了 SegNetr 的有效性，其参数和 GFLOP 比普通 U-Net 分别减少了 59% 和 76%，同时实现了与最先进方法相当的分割性能。值得注意的是，本文提出的组件可以应用于其他 U 形网络，以提高其分割性能。

---

贡献

1. 我们提出了一种轻量级的 U 形 SegNetr 分割网络，具有更少的计算成本和更好的分割性能。
2. 我们研究了传统U形跳跃连接框架的潜在缺陷，并改进了具有信息保留的跳跃连接。
3. 当我们将本文提出的组件应用于其他U形方法时，分割性能获得了一致的改进。

---

方法

整体框架

1. 左边是常见的五层编码器，每个编码模块都是由Patch Merging+Segnetr block组成；
2. segnetr block由局部分区和全局分区两层实现
作为即插即用的模块，如果该论文公开代码，会极大的促进各位的工作

1. SegNetr Block

1. 特征首先经过Efficent Net的基础模块 MBConv进行初步提取 Efficient Net
2. 局部分区使用的是VIT+Flatten+FFN+残差
3. 全局分区使用的是Swin VIt+Flatten+FFN+残差
没有代码真的很难解读

2.Information Retention Skip Connection

这个图画的真的很好，可以作为跳跃连接优化部分的基础图，将原始UNet的跳跃连接修改，在数据结合之前添加了PatchMerge-PatchReverse操作

实验

用了四个公共数据集：ISIC2017和 PH2 两个皮肤病分割数据集,、TNSCUI 甲状腺分割数据集、 ACDC核磁共振心脏分割数据集

1.对比实验

与9个模型在四个数据集上对Dice、IoU、Params和GFLOPs四指标进行比较


结果喜人，就是没有代码

2.消融实验

2.1 Effect of local-global interactions.

分别是不带Local-Global、Only Local、Only Global、线性、并行，结果是并行的效果最好

2.2 Effect of patch size

测试SegNetr block中patch的大小对模型整体的影响！

2.3 Effect of IRSC

主要是看信息增强跳连接（IRSC）对其他模型的影响

可借鉴参考

1. 阅读 UNeXt 2022
   Valanarasu J M J, Patel V M. Unext: Mlp-based rapid medical image segmentation network. In: MICCAI. pp. 23-33. Springer (2022)
   解读已写：UNext：基于 MLP 的快速医学图像分割网络
2. 阅读 MedT 2021
   Valanarasu J M J, Oza P, Hacihaliloglu I, et al. Medical transformer: Gated axialattention for medical image segmentation. In: MICCAI. pp. 36-46. Springer (2021)
3. 阅读 FAT-Net 2022
   Wu H, Chen S, Chen G, et al. FAT-Net: Feature adaptive transformers for automated skin lesion segmentation. MED IMAGE ANAL, 76: 102327. (2022)
4. 阅读 Maxvit 2022
   Tu Z, Talebi H, Zhang H, et al. Maxvit: Multi-axis vision transformer. In: ECCV. pp. 459-479. (2022)
5. 阅读Uctransnet 2022
   Wang H, Cao P, Wang J, et al. Uctransnet: rethinking the skip connections in u-net from a channel-wise perspective with transformer. In: AAAI. pp. 36(3): 2441-2449. (2022)
6. 阅读 ConvUNeXt 2022
   Han Z, Jian M, Wang G G. ConvUNeXt: An efficient convolution neural network for medical image segmentation. KBS, 253: 109512. (2022)
   KBS期刊