【论文阅读笔记】MedTransformer: Accurate AD Diagnosis for 3D MRI Images through 2D Vision Transformers

arxiv，12 Jan 2024

这篇文章思想较简单，用于诊断阿尔兹莫，这里概述一下。

【核心思想】

采用2D视觉Transformer分析3D MRI图像。它通过将3D图像切割成多个2D切片，并应用基于2D Transformer的模型，克服了3D模型在复杂性和效率方面的限制。该方法具有跨维度的共享编码器、特定维度的编码器以及注意力机制，以提高诊断的准确性和效率。这个模型在诊断阿尔茨海默病方面表现出强大的性能，为医学专业人员在这一领域提供了更有效的工具。

【主要贡献】

1. 提出了一种新的基于Transformer的架构，用于结合多个切片和多个平面的特征信息。这些编码器能够最大化接收域并全面结合特征，捕捉3D MRI图像中的长距离关系。
2. 通过沿着轴向、冠状和矢状维度切割3D MRI图像，使用编码器块提取和结合信息。这样，MEDTRANSFORMER能够像3D模型一样提取3D MRI图像的整体特征和关系，但模型大小更小，性能更可靠。
3. 提出了一种新的交叉注意机制和指导块嵌入层，可以更有效地结合切片和序列之间的信息。
4. 考虑到AD和正常MRI图像的结构和差异，设计了形态增强方法来增强数据。这些方法不仅可以增加AD和正常图像之间的差异，还可以帮助增强轻度认知障碍图像，这是AD的前驱阶段。

【网络结构】

这个架构主要由四个部分组成：跨视图的自注意力编码器（Self-Attention Encoders, SAE）、特定维度的自注意力编码器（Dimension-specific Self-Attention Encoders, DS-AE）、维度内交叉注意力编码器（Intra-dimension Cross-Attention Encoders, IntraCAE）和维度间交叉注意力编码器（Inter-dimension Cross-Attention Encoders, InterCAE）。首先，将3D图像沿不同视图（矢状、冠状、轴向）切割成多个切片。接着，使用自注意力编码器对这些切片进行处理，学习切片内部以及不同切片间的关系。最后，通过交叉注意力编码器整合不同视图的信息，从而更全面地理解3D MRI图像。这种架构有效地利用了2D变换器的优势，同时处理了3D图像的复杂性.