用于病理图像诊断的跨尺度多实例学习|文献速递-基于深度学习的医学影像分类，分割与多模态应用

Title

题目

Cross-scale multi-instance learning for pathological image diagnosis

用于病理图像诊断的跨尺度多实例学习

01

文献速递介绍

病理学是诊断炎症性肠病（如克罗恩病）的金标准（Gubatan等，2021；Yeshi等，2020）。在当前的临床实践中，病理学家通过显微镜观察多尺度的形态模式（Bejnordi等，2017），这一过程非常繁琐。随着全片扫描成像和深度学习技术的快速发展，计算机辅助临床诊断和数字病理学领域的探索潜力正迅速增加，使其成为一个极具前景的研究领域（Kraszewski等，2021；Con等，2021；Kiyokawa等，2022；Syed和Stidham，2020）。然而，在标准的监督式深度学习系统中，对图像进行像素级或块级标注计算成本非常高（Hou等，2016；Mousavi等，2015；Maksoud等，2020；Dimitriou等，2019）。为了从具有弱标注的图像（如病人级别的诊断）中获得准确的诊断，多实例学习（MIL）作为一种流行的弱监督学习范式，在数字病理学任务中得到了广泛应用（Wang等，2019；Skrede等，2020；Chen等，2021；Lu等，2021b,a）。例如，DeepAttnMISL（Yao等，2020）使用MIL将图像块分组为不同的“包”，以对多种局部特征进行建模和聚合，用于病人级别的诊断。

Aastract

摘要

Analyzing high resolution whole slide images (WSIs) with regard to information across multiple scales poses a significant challenge in digital pathology. Multi-instance learning (MIL) is a common solution for working with high resolution images by classifying bags of objects (i.e. sets of smaller image patches). However, suchprocessing is typically performed at a single scale (e.g., 20× magnification) of WSIs, disregarding the vitalinter-scale information that is key to diagnoses by human pathologists. In this study, we propose a novel crossscale MIL algorithm to explicitly aggregate inter-scale relationships into a single MIL network for pathologicalimage diagnosis. The contribution of this paper is three-fold: (1) A novel cross-scale MIL (CS-MIL) algorithmthat integrates the multi-scale information and the inter-scale relationships is proposed; (2) A toy datasetwith scale-specific morphological features is created and released to examine and visualize differential crossscale attention; (3) Superior performance on both in-house and public datasets is demonstrated by our simple cross-scale MIL strategy.

分析高分辨率的全片扫描图像（Whole Slide Images, WSIs）时，跨多个尺度的信息处理在数字病理学中是一个显著的挑战。多实例学习（MIL）是处理高分辨率图像的常用方法，通过对一组对象（即多个较小的图像块集）进行分类。然而，这种处理通常是在单一尺度（例如，20×放大倍数ÿ