文献解读-病理影像多模态模型预测乳腺癌新辅助化疗的病理完全反应
期刊：Science Advances
影响因子：11.7，中科院1区Top
发表时间：2025年4月30日
概要：首都医科大学宣武医院放射科卢洁教授团队近日（2025年5月）在中科院1区top期刊《Sci Adv》（IF=11.7）上发表研究 “A multimodal and fully automated system for prediction of pathological complete response to neoadjuvant chemotherapy in breast cancer”。该研究基于磁共振成像（MRI）、全切片图像（WSI）和临床风险因素数据构建MIFAPS多模态预测模型，用于准确预测乳腺癌患者新辅助化疗（NAC）的病理完全缓解（pCR）。
亮点：（1）文章一些结果的表述方式（比如混淆矩阵结果）；（2）全自动化设计：MRI自动分割与WSI多实例学习减少人工干预，提升可重复性。
材料与方法
数据来源
2018年3月至2023年1月来自6家医疗中心的1004例局部晚期乳腺癌患者。回顾性队列分为训练/验证集（383例）、内部测试集（95例）和外部测试集（417例），前瞻性队列（109例）用于独立验证。
纳排标准
见文章
数据类型
MRI、全切片图像（WSI）数据和临床（年龄、肿瘤大小、ER/PR/HER2状态、Ki-67指数和分子分型）
模型框架
- MRI模型：U-Net分割网络联合DenseNet121/ResNeXt101/ResNet101分类网络，三序列概率平均融合为最终MRI打分（图2A）。
- WSI模型：基于CLAM的多实例学习框架进行病理切片预处理，预训练模型ResNet-50进行特征提取，通过注意力机制构建模型并筛选关键组织区域（图2B）。
- 临床模型：通过单因素多因素回归分析筛选年龄、HER2和分子分型作为独立预测因子。
- MIFAPS整合：Logistic回归融合MRI、WSI和临床模型得分（公式：MIFAPS评分=6.933×MRI评分+5.560×WSI评分+3.321×临床评分-8.358）。
在多模态融合阶段，作者同时采用 k 近邻、决策树和支持向量机等几种常见的机器学习分类器，多模态分数的简单平均值及逻辑回归模型构建最终模型，逻辑回归模型在所有测试集中均取得了最高的 AUC，因此被选择为最终的融合方式。
结果
MIFAPS性能
内部测试集：AUC=0.932（95% CI 0.854-0.967）。外部测试集：AUC=0.882（95% CI 0.851-0.914）。前瞻性测试集：AUC=0.909（95% CI 0.882-0.921）。
MIFAPS模型性能显著优于单模态模型及双模态模型：MRI模型：AUC=0.813（外部）和0.822（前瞻性）。WSI模型：AUC=0.797-0.816。临床模型：AUC=0.653-0.745。MRI+WSI组合AUC=0.861（外部）和0.879（前瞻性）。
A-D: 不同模型在训练和验证集（A）、内部测试集（B）、合并外部测试集（C）和前瞻性测试集（D）中的 ROC 曲线。
E-H: PR曲线（证明数据不平衡情况下模型也能表现的不错）。
I-J不同分子亚型中的 ROC 曲线。
K-L 不同病灶大小亚组中的 ROC 曲线。
通过散点图的方式比较不同模型（MiFAPS vs MRi， MiFAPS vs WSI， MiFAPS vs Clinical）的预测结果, 使得研究者能够更直观地理解模型之间的差异，即被三种单模态模型（MRi、WSi和临床模型）错误地预测的案例有多少能被MiFAPS正确识别。表述为：MIFAPS 能够纠正池化外部测试集中MRI模型错误诊断的33.33%的非pCR病例和89.47%的pCR 病例（图 3M），其他结论类似。
图例含义：单模态错误预测的样本数，在错误预测样本中MIFAPS 预测为正确的样本比例。
MIFAPS模型临床影响
混淆矩阵显示，在合并的外部测试集和前瞻性测试集中，有 93 和 22 名患者（真阳性）可能受益于保乳手术，甚至可以不用手术。此外，236 和 70 名患者（真阴性）可能受益于新疗法临床试验（图 4A 和 B）。进一步分析表明，分别有 236（76.6%）和 70（85.4%）名患者可能避免无效化疗，而 16（14.7%）和 5（18.5%）名患者可能因 MIFAPS 的建议而错失有益治疗（图 4C 和 D）。
模型可解释性分析
MRI可解释性分析：Grad-CAM可视化显示，MRI模型预测pCR时高度关注肿瘤核心及周围基质区域（图5A），提示肿瘤微环境可能是影响新辅助化疗反应的关键生物学特征。
WSI可解释性分析：通过为每个patch分配重要性评分，构建基于WSI的注意力热图。采用HoverNet分割并识别重要性排名较前的patch上的细胞类型。结果表明高分患者的关注点主要在肿瘤组织区域和淋巴细胞富集区域，而低分患者的关注点则在肿瘤和纤维组织区域，与箱型图的结果一致。这说明模型通过识别肿瘤浸润淋巴细胞（TILs）的丰度预测免疫激活状态，而高TILs与化疗敏感性相关。
生物学机制探索
根据 MIFAPS 将67 名包含RNA-Seq数据的患者分为高分和低分组。差异表达分析表明 CCL5、CXCL10、CXCL13在高分组高表达且CD4 记忆 T 细胞水平（P = 0.010）和促炎M1 巨噬细胞水平（P = 0.073）细胞浸润程度更高。而EEF1A2、AGR3 和 TSPAN1在低分组高表达，GSEA表明分数高的患者与免疫反应通路、干扰素-γ产生和 T 细胞增殖的正调控相关。
IHC验证显示高分患者肿瘤内CD4+ T细胞和M1标志物（CD68/CD86）强阳性，低分组M2标志物（CD163）高表达。
模型误诊分析
举例两个样本来说明模型预测错误原因
MRI误诊是因为非肿瘤区域的干扰，WSI误诊因为假阳性病例中淋巴细胞比例异常低。转录组显示误诊病例中免疫通路下调，与模型预测矛盾。
研究结论
MIFASP借助多模态融合技术，显著提升了病理完全缓解（pCR）的预测性能，其AUC值介于0.882至0.909之间，这一表现明显优于现有的单模态模型。在高评分患者中，肿瘤微环境内的免疫应答通路呈现出显著的激活状态，同时抗肿瘤细胞（包括CD4+T细胞和M1型巨噬细胞）的浸润程度也更为显著。
参考文献：A multimodal and fully automated system for prediction of pathological complete response to neoadjuvant chemotherapy in breast cancer.