跨视角差异-依赖网络用于体积医学图像分割|文献速递-生成式模型与transformer在医学影像中的应用

Title

题目

Cross-view discrepancy-dependency network for volumetric medical imagesegmentation

跨视角差异-依赖网络用于体积医学图像分割

01

文献速递介绍

医学图像分割旨在从原始图像中分离出受试者的解剖结构（例如器官和肿瘤），并为每个像素分配语义类别，这在许多临床应用中起着至关重要的作用，如器官建模、疾病诊断和治疗规划（Shamshad 等，2023）。对于三维图像，临床医生需要逐片手动描绘感兴趣区域（VOI），这需要大量的劳动和专业知识（Qureshi 等，2023）。计算机辅助诊断（CAD）系统的目标是帮助临床医生迅速描绘出VOI（Shi 等，2022）。然而，这一任务在稳健性和准确性方面仍然面临挑战。随着CAD系统需求的快速增长，开发稳健且准确的三维医学图像分割算法变得愈加紧迫。

在过去的十年中，深度卷积神经网络（DCNNs）吸引了越来越多的关注，并推动了三维医学图像分割的进展（Xu 等，2023；Liu 等，2023）。通常，构建稳健的DCNNs需要大量的数据。但在许多实际场景中，这些模型往往面临数据稀缺的问题，主要是由于某些疾病的发病率低或获取大规模三维医学图像数据集的成本高昂（Huang 等，2023；Jiao 等，2023）。为了缓解这一问题，许多方法尝试通过基于图像块的策略处理三维图像（Çiçek 等，2016；Milletari 等，2016；Isensee 等，2021）。尽管这种策略可以捕捉局部空间信息，但由于输入的感受野有限，提取长期上下文信息变得困难。作为替代，一些研究提出通过使用从三维图像中提取的多个连续切片来训练网络（Alom 等，2018；McHugh 等，2021）。这些方法将切片图像视为独立样本，并且仅使用单视角切片图像（即轴向平面），但这不可避免地忽略了来自其他两个视角（即冠状平面和矢状平面）的空间信息以及切片之间的连续性（Dong 等，2022）。因此，更为理想的方式是基于多视角切片图像开发分割模型，通过同时考虑多个正交平面来保留全面的空间信息。

Aastract

摘要

The limited data poses a crucial challenge for deep learning-based volumetric medical image segmentation, andmany methods have tried to represent the volume by its subvolumes (i.e., multi-view slices) for alleviating thisissue. However, such methods generally sacrifice inter-slice spatial continuity. Currently, a promising avenueinvolves incorporating multi-view information into the network to enhance volume representation learning, butmost existing studies tend to overlook the discrepancy and dependency across different views, ultimately limiting the potential of multi-view representations. To this end, we propose a cross-view discrepancy-dependencynetwork (CvDd-Net) to task with volumetric medical image segmentation, which exploits multi-view slice priorto assist volume representation learning and explore view discrepancy and view dependency for performanceimprovement. Specifically, we develop a discrepancy-aware morphology reinforcement (DaMR) module toeffectively learn view-specific representation by mining morphological information (i.e., boundary and positionof object). Besides, we design a dependency-aware information aggregation (DaIA) module to adequatelyharness the multi-view slice prior, enhancing individual view representations of the volume and integratingthem based on cross-view dependency. Extensive experiments on four medical image datasets (i.e., Thyroid,Cervix, Pancreas, andGlioma) demonstrate the efficacy of the proposed method on both fully-supervised and semi-supervised tasks.

有限数据对基于深度学习的体积医学图像分