Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation笔记

                                                            Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation笔记

    传统的图像都是二维的自然图像，使用CNN做一个end-to-end的架构，做一个以图生图的CNN框架，得到图像的分割结果。但是在医学的MRI图像中，脑部的扫描结果是3D并且多模态的数据。人的大脑本来就是3唯，这个比较好理解，多模态指的是从四个不同的不同的方向进行扫描，得到大脑不同区域的2位平面图（有错误请指出）。传统的方法直接使用3唯的切片进行分割，之后再做一个concat，忽略了每个切片之间的关联，给予上述问题，作者提出了使用多模态的CNN架构，同时使用convLSTM来模拟不同channel之间的关系，得到了很好的performance。