【SAM医学分割】重新思考基础模型时代的半监督医学图像分割技术

        基于深度学习的医学图像分割通常需要大量标注数据进行训练，由于标注成本较高，因此在临床环境中的应用较少。与完全监督方法相比，半监督学习（SSL）对从专家那里获取大量注释的依赖性较低，因此成为一种颇具吸引力的策略。除了现有的以模型为中心、设计新颖正则化策略的半监督学习（SSL）进步之外，由于可提示分割基础模型的出现，该模型具有通用分割能力，可使用以任意分割模型（SAM）为代表的位置提示。在本文中，介绍了 SemiSAM+，这是一种基础模型驱动的 SSL 框架，用于从有限的标注数据中高效地学习医学图像分割。SemiSAM+ 由一个或多个可提示的基础模型（作为通用模型）和一个可训练的特定任务分割模型（作为专业模型）组成。对于给定的新分割任务，训练基于专家-普通模型协作学习程序，其中可训练的专家模型提供位置提示，与冻结的普通模型交互以获取伪标签，然后普通模型的输出为专家模型提供信息和高效的监督，反过来有利于自动分割和提示生成。在两个公共数据集和一个内部临床数据集上进行的广泛实验表明，SemiSAM+ 实现了显著的性能提升，尤其是在注释极其有限的情况下，而且作为一种即插即用策略，它可以轻松地适应不同的专业和通用模型，显示出强大的效率。

Introduction

        近年来，计算机视觉领域出现了一些基础模型，其中以用于图像分割的 Segment Anything Model（SAM）为代表，该模型在各种自然图像分割任务中展现了令人印象深刻的零点泛化能力。虽然最近的研究表明，由于自然图像与医学图像之间的差异，SAM 在医学图像分割中的性能有限，但它仍然为解决注释稀缺问题提供了新的机遇，即利用基础模型的知识库，作为可靠的伪标签生成器，在人工注释图像稀缺的情况下指导分割任务。

        作为利用类似于 SAM 的可提示基础模型进行半监督医学影像分割的初步尝试，之前的工作 SemiSAM旨在通过为一致性正则化添加额外的监督分支来挖掘 SAM 的潜力，该模型已被多项研究实施并扩展，证明了其有效性。如图 1 所示，现有的以模型为中心的 SSL 进展旨在设计新颖的正则化策略，以便更有效地利用未标注数据进行训练。在使用 10% 或 20% 标记数据等常见 SSL 设置中，这些方法可以取得令人满意的性能改进。然而，当遇到注释极度匮乏的场景时，比如只使用一张或几张有标签的图像，这些方法就很难取得理想的结果。其中一个可能的原因是，模型无法在极其有限的监督下学习到足够的判别信息。因此，预测结果充满了随机性，利用无标注数据所带来的改进也很有限。与这种模式不同，本文的目标是利用预先训练好的基础模型知识指导学习过程，尤其是在注释极其有限的情况下，学习效果明显改善。

        本文介绍的 SemiSAM+ 是一种基础模型驱动的 SSL 框架，用于从有限的标记数据中高效地学习医学图像分割。SemiSAM+ 包含一个可训练的特定任务分割模型，作为下游分割任务的专业模型，以及一个或多个可提示的基础模型，作为在大规模数据集上预训练的通用模型，具有零误差泛化能力。按照现有的 SSL 框架，专家模型的更新采用基于标记数据的监督损失和基于非标记数据的无监督正则化两种方法。在SemiSAM+中，为了有效利用通用模型的监督功能，避免在遇到极其有限的注释时可能出现的误导，还采用了额外的置信度感知正则化。在训练过程中，可训练的专业模型会发出位置提示，与冻结的通用模型进行交互，以获取伪标签。然后，通用模型的输出为专业模型提供信息和高效的监督，从而有利于自动分割和提示生成。

        SemiSAM+ 在方法论上取得了实质性的进步，并通过大量的实验表明，作为一种即插即用的方