Medical Image Synthesis with Context-Aware Generative Adversarial Networks

摘要

计算机断层扫描（CT）对于各种临床应用至关重要，例如放射治疗计划以及PET衰减校正。但是，CT在采集过程中会暴露放射线，这可能对患者造成副作用。与CT相比，磁共振成像（MRI）更安全，并且不涉及任何辐射。因此，近来，对于放射治疗计划的情况，研究人员被极大地动机从同一对象的其对应的MR图像估计CT图像。在本文中，我们提出了一种数据驱动的方法来解决这一具有挑战性的问题。特别是，通过训练性的卷积网络来生成给定MR图像的CT。为了更好地建模从MRI到CT的非线性关系并生成更逼真的图像，我们建议使用对抗训练策略和图像梯度差损失函数。我们进一步将AutoContextModel应用于实现上下文感知的生成对抗网络。实验结果表明，我们的方法从MRI图像预测CT图像时准确，可靠，并且优于目前的三种最新方法。

1 简介

CT图像广泛地运用在诊断和放疗，在癌症放射治疗中，CT图像提供单位制，这对于治疗计划中的剂量计算至关重要。此外，在流行的PET-CT扫描仪中，CT图像对于正电子发射断层扫描（PET）的衰减校正也非常重要。

用2D卷积神经网络去运行3D医学图像时不合适的，因为2DCNN考虑到图像是切片的，所以有可能通过切片会产生不连续的预测。为了解决这个问题，Ji提出3DCNN。

通常，假设数据是从高斯分布中提取的，则将L2距离用作损失函数。在多峰分布的情况下这可能会出现问题，并且往往会在输出图像中产生模糊的结果

本文提出通过3D全卷积神经网络（FCN）来学习从MR到CT图像的非线性映射，这是传统CNN的一种变体。与CNN相比，FCN生成结构化输出，可以更好地保留预测信息中的邻域信息 CT图像。 此3D FCN在生成对抗框架中用作生成器，在该框架中，对抗损失项是常规重建误差的附加项，目的是生成更真实的CT数据。 网络是在补丁程序上训练的，这使得其视图仅限于补丁程序本身，因此无法提供远程信息。 我们在每个阶段都使用GAN框架进行训练的Auto-ContextModel（ACM）使它能够感知上下文。 据我们所知，这是GAN框架在合成医学图像生成领域的首次应用。

该方法在两个真实的CT / MR数据集上进行了评估。 实验结果表明，我们的方法可以有效地根据MR图像预测CT图像，并且在比较下也优于三种最新方法。

2 方法

我们提出了一种由对抗性网络组成的对抗性网络，其中完全卷积的网络构成了生成器。 首先，我们提出一种基本的3D FCN结构，以根据MRI图像估算CT。 3D操作可以更好地建模3D空间信息，从而可以解决2D CNN中可能存在的跨切片不连续性问题。 其次，我们在设计的网络中采用对抗训练策略，其中一个附加的鉴别器网络可以促使发电机的输出尽可能看起来像真实的CT。 我们将图像梯度差项添加到生成器的损失函数中，以保持生成的CT的清晰度。 最后，我们使用自动上下文模型来迭代定义生成器的输出。

例如， Unsupervisedrepresentationlearningwith deep convolutional generative adversarial networks. 中的AlecRadford能够通过使用FCN来获得非常逼真的图像，而无需使用最大池化，并且在G和D上的不同层之间进行批归一化，其方式与我们预想的类似。

合成图片的GAN架构

该网络输入MRI图片，并且尝试去生成对应的CT图像。它具有8个阶段，分别包含卷积，批处理规范化和ReLu运算，分别具有过滤器32、32、32、64、64、64、32、32的数量。最后一层仅包含32个卷积滤波器，其输出被视为估算的CT。 最后，鉴别器是一种典型的CNN架构，包括三个阶段的卷积+批处理规范化+ ReLu +最大池化以及具有三个完全连接层的卷积的组合，其中前两个使用ReLu作为激活函数，最后一个使用Sigmoid，其输出表示从输入数据中提取输入数据的可能性 真实CT的分布。 滤波器的大小为5×5×5，卷积层的滤波器数目为32、64、128和256，完全连接层中的输出节点数目为512、128和1。

2.2自动上下文模型（ACM）进行优化

在这项工作中，我们证明了ACM也可以成功地应用于回归任务。由于从先前估计的CT中提取了上下文特征，因此它们可以对仅使用基于补丁的特征无法获得的信息进行编码。 在我们的工作中，我们不使用多个生成器，而是使用生成器网络，并且也没有连接概率图，而是连接了先前生成器网络的输出。 具体来说，我们迭代训练几个以MRI片为输入并估计相应CT片的GAN。 这些补片在MRI补片中串联为第二个通道，并且在训练下一个GAN时将这些新数据用作输入。 图3展示了该方案。

提出的ACM应用于GAN的架构

3 数据

数据详情

4 实验结果

我们使用与训练样本相同的中心点随机提取大小为32×32×32的MRI斑块，并具有相应的大小为16×16×16的CT。 使用Adam最优化器对网络进行训练，其净利率为10-6，β1= 0.5（在[15]中建议），最小批量大小为10。生成器使用λ1= 0.5，λ2=λ3= 1进行训练。 该代码使用TensorFlow库实现，接受后将公开发布。为了证明预测准确性的建议方法的优势，我们将其与三种广泛使用的方法进行比较：基于Anatlas的方法，基于稀疏表示的方法以及具有自动上下文模型的结构化随机森林。 在Estimating CT Image from MRI Data Using 3D Fully Convolutional Networks - 道客巴巴中声明。 而且所有实验都是一劳永逸的。

为了比较不同方法的性能，我们利用平均绝对误差（MAE）和峰值信噪比（PSNR）作为度量。

5 结论

我们已经开发了3D GAN模型，可通过直接将MR图像块作为输入而将CT块作为输出来从MRI图像估计CT图像。 通过使用ACM可以提高性能，因为在训练过程中会有效地扩大GAN的上下文，这使其具有上下文意识。 我们已经将该模型用于从其相应的MR图像中预测CT图像，其中实验证明了我们提出的方法可以明显优于三种最新方法，从而表明其在回归任务中的适用性。 尽管我们仅考虑了CT图像预测的任务，但是我们提出的模型也可以应用于涉及医学图像分析中生成过程的其他相关任务，例如超分辨率，图像去噪等。