U-Net——第一课

一.论文研究背景、成果及意义

医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生作出更为准确的诊断。

① 处理对象：各种不同成像机理的医学影像，主要有X-射线成像(X-CT)、核磁共振成像(MRI)、核医学成像(NMI)和超声波成像(UI)、电子显微镜成像(EM)
②应用方向：医疗教学、手术规划、手术仿真及各种医学研究
③应用场景：病变检测、图像分割、图像配准及图像融合
④应用思路：首先对二维切片图像进行分析和处理，实现对人体器官、软组织和病变体的分割提取，然后进行三维重建和三维显示，可以辅助医生对病变体及其它感兴趣区域进行定性甚至定量的分析，从而大大提高医疗诊断的准确性和可靠性
医学图像分割的难点：

1. 数据量少。一些挑战赛只提供不到100例的数据
2. 图片尺寸大。单张图片尺寸大、分辨率高，对模型的处理速度有一定的要求
3. 要求高。医学图像边界模糊、梯度复杂，对算法的分割准确度要求极高
4. 多模态。以ISLES脑梗竞赛为例，其官方提供了CBF,MTT,CBV,TMAX,CTP等多种模态的数据
   ISBI：IEEE International Symposium on Biomedical Imaging
   IEEE国际生物医学影像研讨会：致力于涵盖所有观察规模的生物和生物医学影像的数学，算法和计算方面。ISBI是IEEE信号处理协会（SPS）和IEEE医学与生物学工程学会（EMBS）的一项联合计划。要求高质量的论文，包括图像形成和重建，图像处理和分析，动态成像，可视化，图像质量评估，大图像数据的机器学习以及物理，生物学和统计建模。
   生物影像学已经在从诊断到个性化治疗再到对生物过程的机械理解的广泛应用中不断发展。对更健壮的方法以及与临床和分子数据集成的需求不断增长，该领域继续受到挑战。
   研究成果及意义
   1.赢得了ISBI cell tracking challenge 2015
   2.速度快，对一个512*512的图像，使用一块GPU只需要不到一秒的时间
   3.成为大多做医疗影像语义分割任务的baseline，也启发了大量研究者去思考U型语义分割网络
   4.UNet结合了低分辨率信息（提供物体类别识别依据）和高分辨率信息（提供精准分割定位依据），完美适用于医学图像分割。
   

二、unet论文结构

摘要:
主要贡献:本文提出了一个网络和训练策略，使用数据增强，以便更有效的使用可用的带标签样本
网络结构:网络由两部分组成，定义一个收缩路径来获取全局信息，同时定义一个对称的扩张路径用以精确定位
网络效果:该网络可以用很少的图片进行端到端训练，处理速度也比较快
实验结果:以很大的优势赢得了2015 ISBI细胞跟踪挑战赛

引言


Padding



使得输入和输出图像的大小一致

三、算法架构

输入图像是572 * 572，输出图像是388 * 388。输入图像时使用388 * 388图片进行镜像翻转（overlap镜像翻转），得到572 * 572尺寸的图片作为输入。
医学图像分割输入图像的通道数普遍是1，输出图像的通道数普遍是2
（1）输入图像经过3 * 3卷积（没有padding）之后变成570 * 570图片，再次经过卷积通道数不变图像尺寸减2（长宽都减），变成568 * 568
（2）经过maxpoling最大池化（下采样1）尺寸减半变成284 * 284，经过卷积扩展通道数为128，尺寸大小变为282 * 282，再次卷积减小图片尺寸为280 * 280
（3）经过maxpoling最大池化（下采样2）尺寸减半变成140 * 140，经过卷积扩展通道数为256，尺寸大小变为138 * 138，再次卷积减小图片尺寸为136 * 136
（4）经过maxpoling最大池化（下采样3）尺寸减半变成68 * 68，经过卷积扩展通道数为512，尺寸大小变为66 * 66，再次卷积减小图片尺寸为64 * 64
（5）经过maxpoling最大池化（下采样4）尺寸减半变成32 * 32，经过卷积扩展通道数为1024，尺寸大小变为30 * 30，再次卷积减小图片尺寸为28 * 28 * 1024
（6）28 * 28 * 1024的特征图先经过反卷积（上采样1）变成56 * 56 * 512。两个特征图的融合（通道数不要求一样即进行通道维数的拼接，但是图片尺寸需要一致，因此需要对之前的特征图进行裁剪）
先对64 * 64 * 512的特征图裁剪，变为56 * 56 * 512，接着拼接两个特征图变为64 * 64 * 1024，拼接之后通道数增加。经过卷积减少通道数为54 * 54 * 512，再次卷积变为52 * 52 * 512
（7）反卷积（上采样2）为104 * 104 * 256的特征图。将136 * 136 * 256的特征图裁剪为104 * 104 * 512，进行特征图的拼接，为104 * 104 * 512的特征图，卷积降低通道数为102 * 102 * 256，再次卷积后为100 * 100 * 256
（8）反卷积（上采样3）为200 * 200 * 128的特征图。将280 * 280 * 128的特征图裁剪为200 * 200 * 128，进行特征图的拼接，为200 * 200 * 256的特征图，卷积降低通道数为198 * 198 * 128，再次卷积后为196 * 196 * 128
（9）反卷积（上采样4）为392 * 392 * 64的特征图。将568 * 568 * 64的特征图裁剪为392 * 392 * 64，进行特征图的拼接，为392 * 392 * 128的特征图，卷积降低通道数为390 * 390 * 64，再次卷积后为388 * 388 * 64
（10）使用1*1卷积降低通道数，388 * 388 * 2
下采样尺寸变为原来的一半，通道数增大2倍
上采样尺寸变为原来的2倍，通道数变为原来的一半
U-net 的输入和输出