[arXiv 2024] Medical SAM 2: Segment Medical Images as Video via Segment Anything Model 2

arXiv 2024 | Medical SAM 2：通用2D/3D医学分割新范式，“把医学图像当视频分割”

论文信息

• 标题：Medical SAM 2: Segment Medical Images as Video via Segment Anything Model 2
• 作者：Jiayuan Zhu, Abdullah Hamdi, Yunli Qi, Yueming Jin, Junde Wu
• 单位：牛津大学、新加坡国立大学
• 项目主页：https://supermedintel.github.io/Medical-SAM2/

---

背景简介

医学图像分割在临床诊断与治疗中至关重要，但现有模型普遍存在泛化性不足、难以统一处理2D与3D数据等痛点。SAM 及 SAM 2 的出现带来了“万物分割”新范式，但在医学场景下依然有局限——如依赖帧顺序/时序、2D/3D处理割裂、每帧都需交互等。

---

创新方法

本文提出MedSAM-2，开创性地将所有2D和3D医学图像分割任务看作视频对象跟踪问题，并提出“自排序记忆库”（Self-Sorting Memory Bank）机制，核心亮点如下：

1. 统一视频式分割框架：将3D体数据（如CT/MRI）视为多方向slice序列，将2D图像流也视为伪视频流，统一用“视频分割”技术处理医学分割。
2. 自排序记忆库机制：每次动态选择置信度高且与现有记忆差异大的embedding进入memory，无需依赖帧顺序，适用于无序医学图像/切片。
3. One-Prompt Segmentation能力：仅需在一张2D图像或一帧3D切片上给出一次prompt（点、框或掩码），就能自动泛化到全序列/全批次，实现无时序依赖的批量分割，大幅降低人工交互。
4. 多模态/多方向融合：3D体数据多方向切片均可作为“视频帧”输入，模型自适应排序、融合各方向上下文，提升对复杂解剖结构的泛化。

---

方法结构

• 基于SAM2的主干架构：包含图像编码器、prompt编码、记忆attention、mask解码器。
  

• 自排序记忆库更新：每帧/每图像根据预测置信度和与memory中embedding的差异性动态选择保留；并通过重采样机制进一步强调与当前帧相似的记忆，提高分割相关性。

• 2D/3D统一推理：3D体数据按多方向slice处理并聚合，2D图像批次按“伪视频”顺序处理，均可用One-Prompt完成批量分割。

• 信息论解释：自排序机制提升了记忆库熵和与输出的互信息，有理论支撑其提升泛化能力。

---

实验与结果

• 3D医学分割：在BTCV等14个公开数据集（25项任务）上，MedSAM-2在Dice分数等指标上超越nnUNet、TransUNet、Swin-UNetr等SOTA模型，并显著优于SAM/MedSAM/TrackAny/OnePrompt等基础和通用分割模型。
  

• 2D医学分割：在11个未见任务上，MedSAM-2同样领先于任务特定、交互式与自动跟踪模型，泛化能力突出。

• One-Prompt能力：在多项2D任务上，MedSAM-2仅需一次prompt即可实现高质量批量分割，显著优于few/one-shot等方法，且分割结果波动极小。

• 人工交互频率分析：MedSAM-2对prompt频率鲁棒性极强，仅需极少交互即可获得接近满提示精度，远优于SAM2。

---

消融与机制分析

• 自排序记忆库各组件贡献明确：置信度阈值、差异性筛选、重采样等模块逐步提升分割精度。
• 互信息&熵分析：实验和理论均证明自排序机制提升了记忆多样性和分割泛化性。
• 多方向/多模态处理：3D体数据多方向slice融合进一步增强模型对复杂结构的适应。

---

总结与展望

MedSAM-2首次实现了真正的“医学版视频式分割”，统一了2D/3D医学分割流程，极大提升了泛化性与自动化能力。其One-Prompt Segmentation能力及对无序医学图像的适应性，将推动医学AI在临床自动化、批量处理、少交互分割等方向的落地。未来可进一步拓展至更多模态和“零样本”场景。

---

项目主页：https://supermedintel.github.io/Medical-SAM2/

---

欢迎关注，获取更多医学AI分割前沿论文解读！