Fusion based on attention mechanism and context constraint for multi-modal brain tumor segmentation

论文：Computerized Medical Imaging and Graphics 2020

数据集：BraTS 2017

1. Introduction

脑肿瘤是世界上最具侵袭性的癌症之一（isın和Direkoglu，˘S¸ah，2016；Menze等人，2014年）。磁共振成像（MRI）是一种广泛应用于评估脑肿瘤的成像技术，它是一种非侵入性和良好的软组织对比成像方式，在不暴露于高电离辐射的情况下提供关于脑肿瘤的形状、大小和定位的宝贵信息（Liang和Lauterbur，2000；Bauer等人，2013年；Drevelegas，2010年）。常用的成像方式有T1加权（T1）、对比增强T1加权（T1c）、T2加权（T2）和液体衰减反转恢复（FLAIR）图像。不同的成像方式可以为分析胶质瘤的不同亚区提供补充信息，例如T2和FLAIR可以突出肿瘤周围水肿，也可以指定为整个肿瘤。T1和T1c显示肿瘤无瘤周水肿，为肿瘤核心。在T1c中还可以观察到高强度的肿瘤核心增强区，称为增强肿瘤核心。因此，应用多模态图像可以减少信息的不确定性，提高临床诊断和分割的准确性。

用于脑瘤分割的各种方法，如概率论（Lapuyade-Lahorgue等，2017）、核特征选择（Zhang等，2011）、信念函数（Lian等，2018）、随机森林（Zikic等，2012）、条件随机场（Yu等，2018）,支持向量机（Bauer等，2011）和随机行走（Onoma等，2014）已经开发成功。然而，由于三个原因，脑肿瘤分割仍然是一项具有挑战性的任务。(1) 脑部解剖结构因病人而异。(2) 胶质瘤的大小、形状和纹理的差异性。(3)定性MR成像模式中强度范围的可变性和低对比度。这对于脑瘤分割来说尤其如此，由于低对比度，肿瘤轮廓是模糊的图1。

最近，凭借强大的特征学习能力，基于深度学习的方法在脑肿瘤分割中的作用越来越突出。Cui等人（2018）提出了一个由两个子网络组成的级联式深度学习卷积神经网络。第一个网络用于从MRI切片中定义肿瘤区域，第二个网络用于将定义的肿瘤区域标记为多个子区域。Mlynarski等人（2019）引入了一个基于CNN的模型，有效地结合了短程三维背景和长程二维背景的优势，用于脑肿瘤分割。Wang等人（2019）提出了一种基于金字塔集合模块的新型二维全卷积分割网络WRN-PPNet。Zhao等人（2018）整合了全卷积神经网络（FCNN）（Long等人，2015）和条件随机场来分割脑肿瘤。Havaei等人（2017）实现了一个双路径架构，学习脑瘤的局部细节以及更大的背景特征。Wang等人（2017）提出将多类分割问题按照子区域层次分解为三个二进制分割问题序列。Kamnitsas等人（2017a）提出了一个高效的全连接多尺度CNN架构，名为deepmedic，该架构将高分辨率和低分辨率的路径重新组合以获得分割结果。此外，他们使用三维全连接条件随机场来有效地消除假阳性。Isensee等人（2017）将U-Net修改为脑肿瘤分割，并使用数据增强来防止过度拟合。Kamnitsas等人（2017b）介绍了EMMA，这是一个包括DeepMedic、FCN和U-Net在内的多种模型和架构的集合，并在BraTS 2017比赛中获得第一名。

然而，以往的方法只能直接应用这四种MRI模式来实现分割。对于多模态医学图像分割任务，融合策略对获得准确的分割结果起着重要的作用。一般来说，我们可以将网络架构分为基于单编码器的方法和基于多编码器的方法，如Zhou等人（2019b）所述。基于单个编码器的方法（Isensee等人，2017；Kamnitsas等人，2017b）直接将不同的多模态图像按通道整合到输入空间中，而不同模态之间的相关性没有得到很好的利用。然而，基于多编码器的方法（Tseng et al.，2017）允许通过应用多模态特定编码器分别提取单个特征信息，并将其与特定融合策略融合，以强调用于分割任务的有用信息。根据Valada等人（2016），基于多编码器的方法比基于单个编码器的方法具有更好的性能，可以学习更多互补和跨模态相互依赖的特征。然而，并非所有从编码器中提取的特征都对分割有用。因此，有必要寻找一种有效的融合特征的方法，重点对提取出的信息量最大的特征进行分割。

为此，我们建议使用注意机制，它可以被看作是一种工具，能够考虑到最有信息量的特征表示。通道注意模块和空间注意模块是常用的注意机制。前者使用注意机制来选择通道轴上有意义的特征。例如，Hu等人（2018）引入了挤压和激励（SE）模块来进行动态的通道特征再校准，以提高网络的表示能力。Li等人（2018）提出将注意力机制和空间金字塔结合起来，在语义分割中为像素标签提取精确的密集特征。Oktay等人（2018）提出了一个注意力U型网络，它使用通道注意力机制来融合高层和低层的特征，用于CT腹部分割。后者是空间注意模块，通过加权求和所有其他位置的特征来计算每个位置的特征表示。例如，Roy等人（2018）提出同时使用空间和通道SE块（scSE），并证明scSE块可以对三种不同的FCN架构产生改进。最近，Roy等人（2018）将scSE块纳入到少数照片分割任务中，以解决没有预训练的网络和医疗扫描的体积性问题。Fu等人（2019）提出了一个使用通道和空间注意机制的双注意网络，以适应性地整合局部语义特征与全局依赖性，用于场景分割。

然而，上述方法仅在单模态图像数据集上评估了注意力机制，没有考虑多模态医学图像的融合问题。在注意力机制的启发下，本文提出了一个基于注意力机制和附加约束信息的三阶段多模态融合网络，用于脑瘤分割。这项工作的初步成果已经在Zhou等人（2020）和Zhou等人（2019a）中提出。这个期刊版本是一个实质性的扩展。我们的方法的主要贡献有四个方面。

(1)提出了一种新型的三阶段网络，用于多模式脑肿瘤分割，以减少记忆要求并加速训练过程。

(2) 在基于多编码器的网络结构中引入并整合了额外的约束信息，使网络使用更少的参数并提高分割精度。

(3) 提出了一个新的损失函数来解决多类分割问题。

(4) 利用注意力机制融合不同的模式，实现最重要的特征表示。