医学图像分割————网络结构

    由于最近在做BraTS2019竞赛，本文主要对BraTS2018比赛的前三名以及今年发表在TMI的一篇论文的网络结构进行归纳总结。

Myronenko A. 3D MRI brain tumor segmentation using autoencoder regularization[C]//International MICCAI Brainlesion Workshop. Springer, Cham, 2018: 311-320.

    该论文是BraTS2018脑肿瘤比赛的第一名，主要的网络图主要如下图所示：

      首先该论文的输入相对来说是比较大的，因此batch也被设为1，网络中并没有采用BN，而是采用GN。该论文还是更加类似于U-Net结构，encoder和decoder有跳跃的连接层，但是采用的是残差模块，相加而不是concate。但是在encoder阶段采用了更多的卷积。

      该论文在高层语义后面又连接了一个VAE模块，用来重构输入图像。作者认为加入VAE分支可以帮助正则化encoder部分，并且在任意的初始化条件下都能够提升性能。

      该论文在接一个Sigmoid函数之后，直接输出三个任务(WT, TC, ET）的语义分割图。loss函数如下式：

Zhou, C., Chen, S., Ding, C., Tao, D.: Learning contextual and attentive information for brain tumor segmentation. In: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2018). MultimodalBrain Tumor Segmentation Challenge (BraTS 2018). BrainLes 2018 workshop.LNCS, Springer (2018)

    该论文是BraTS2018脑肿瘤比赛的第二名，主要的网络图主要如下图所示：

        该论文仅使用了最基本的3D U-Net网络结构，该论文采用的归一化方法是IN，另外通过在上采样之前减少filter数量和in-place操作（pytorch）来节省GPU空间。

        该论文采用的loss函数是SDC loss，公式如下

       该论文实验表明，使用该loss的情况下，LReLU（leakiness)的效果好于ReLU，该论文也是在接一个Sigmoid函数之后，直接输出三个任务(WT, TC, ET）的语义分割图。

McKinley, R., Meier, R., Wiest, R.: Ensembles of densely-connected cnns withlabel-uncertainty for brain tumor segmentation. In: International Conference onMedical Image Computing and Computer Assisted Intervention (MICCAI 2018).

       该论文是BraTS2018脑肿瘤比赛的并列第三名，该论文主要是使用了多模型集成的方法。该论文设计了两个基于和dilated convolution的U型网络。网络结构图如下：

      该论文提出了一种新的loss，这种loss减弱了高不确定性区域的损失。其公式如下：

      由于这个loss仅能使用于二分类任务，所以该论文也是在接一个sigmoid函数之后，直接输出三个任务（WT, TC, ET）的语义分割图。

Zhou, C., Chen, S., Ding, C., Tao, D.: Learning contextual and attentive information for brain tumor segmentation. In: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2018). MultimodalBrain Tumor Segmentation Challenge (BraTS 2018). BrainLes 2018 workshop.LNCS, Springer (2018)

      该论文是BraTS2018脑肿瘤比赛的并列第三名, 该论文网络结构主要采用了级联网络的思想，并且将分割任务分解成三个任务，

1. 整个肿瘤的粗分割：分割整个肿瘤，但是也是采用5分类；

2. 整个肿瘤以及肿瘤内类的分割： 将粗肿瘤mask扩张5个像素作为感兴趣区域进行训练,也是5分类任务；

3. 增强肿瘤的精确分割： 增强肿瘤的难度很高，类似于上面的方法，将细分割mask作为感兴趣区域，是一个二分类任务。

      网络图如下：

      该论文亦采用了类似课程学习的方式，首先训练子任务1，逐步增加更难的任务的权重。最后端到端一起训练三个任务。

Ren X, Zhang L, Ahmad S, et al. Task Decomposition and Synchronization for Semantic Biomedical Image Segmentation[J]. arXiv preprint arXiv:1905.08720, 2019.

      该论文使用了BraTS2018数据集，发表在TMI，且在BraTS2018数据上取得不错的效果，其网络图如下（是用在ROBOT18数据集）：

      该论文使用了多任务模型，并且利用分类任务与分割任务之间的相关性（分割label某一类别是否存在）来约束分割任务。Context Ensemble模块主要是为了增大感受野。该网络的loss函数主要由四部分组成，loss函数如下：

总结

      上述的论文中，四个网络是采用3D网络，一个网络是采用2.5D网络。除了最后一篇论文，其他论文均采用U-Net型网络。用多任务来使网络部分更加稳定的方法被证明是可行的，BraTS2019第一名采用了VAT使得高层语义保留更多的语义；BraTS2019并列第三名（第四篇论文）通过级联网络来层层递进，从粗到细，从易到难。最后一篇论文通过底层任务与高层任务的高度相关性，来约束底层任务，减少误判。BraTS2019并列第三名（第三篇论文）在loss上将高不确定的像素loss权重减小，来使网络更加稳定。比赛前三名均是直接对三个任务进行预测，而不是对给定标签进行预测，这种方法效果更好。