【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（7 月 24 日论文合集）

一、分割|语义相关(6篇)

1.1 Consistency-guided Meta-Learning for Bootstrapping Semi-Supervised Medical Image Segmentation

一致性引导的元学习用于自举半监督医学图像分割

https://arxiv.org/abs/2307.11604

医学成像技术已经取得了显著的进步，但通常需要大量的高质量注释数据，这是耗时和昂贵的获取。为了减轻这一负担，半监督学习作为一种潜在的解决方案引起了人们的关注。在本文中，我们提出了元学习引导医学图像分割（MLB-Seg），一种新的方法，用于解决半监督医学图像分割的挑战。具体来说，我们的方法首先涉及训练分割模型的一小组干净的标记图像，以生成未标记数据的初始标签。为了进一步优化这个自举过程，我们引入了一个逐像素权重映射系统，该系统动态地将权重分配给初始化的标签和模型自己的预测。这些权重是使用元处理来确定的，该元处理优先考虑具有更接近干净数据的损失梯度方向的像素，这是基于一小组精确注释的图像。为了促进元学习过程，我们还引入了一个基于一致性的伪标签增强（PLE）方案，该方案通过集成来自同一输入的各种增强版本的预测来提高模型自身预测的质量。为了提高质量的权重图，通过多个增强的一个单一的输入，我们引入一个平均教师到PLE计划。该方法有助于降低权重图中的噪声，稳定其生成过程。我们在公共心房和前列腺分割数据集上的广泛实验结果表明，我们提出的方法在半监督下实现了最先进的结果。我们的代码可在https://github.com/aijinrjinr/MLB-Seg上获得。

1.2 Bridging Vision and Language Encoders: Parameter-Efficient Tuning for Referring Image Segmentation

视觉和语言编码者之间的桥梁：参考图像分割的参数高效调整

https://arxiv.org/abs/2307.11545

参数高效调整（PET）已获得关注，减少参数的数量，同时保持性能和提供更好的硬件资源节约，但很少有研究调查密集的预测任务和模态之间的相互作用。在本文中，我们做了一个调查的有效调整问题参考图像分割。我们提出了一种新的适配器称为Bridger，以促进跨模态的信息交换和注入特定于任务的信息到预训练的模型。我们还设计了一个轻量级的图像分割解码器。我们的方法实现了相当或优越的性能，只有1.61%至3.38%的骨干参数更新，具有挑战性的基准评估。该代码可在\url{https：//github.com/kkakkkka/ETRIS}获得。

1.3 MatSpectNet: Material Segmentation Network with Domain-Aware and Physically-Constrained Hyperspectral Reconstruction

MatspectNet：基于域感知和物理约束的高光谱重建材料分割网络

https://arxiv.org/abs/2307.11466

实现3通道RGB图像的精确材料分割是具有挑战性的，因为材料的外观变化很大。高光谱图像是在多个波长处采样的光谱测量的集合，理论上提供用于材料识别的不同信息，因为由表面反射的电磁辐射的强度的变化取决于场景的材料组成。然而，现有的高光谱数据集在用于密集材料分割任务的图像和材料类别的数量方面是贫乏的，并且用光谱相机收集和注释高光谱图像是极其昂贵的。为了解决这个问题，我们提出了一个新的模型，MatSpectNet分割材料与恢复的高光谱图像从RGB图像。该网络利用现代相机中的颜色感知原理来约束重建的高光谱图像，并采用域自适应方法将高光谱重建能力从光谱恢复数据集推广到材料分割数据集。重建的高光谱图像进一步过滤使用学习的响应曲线，并与人类的感知增强。MatSpectNet的性能在LMD数据集和OpenSurfaces数据集上进行了评估。我们的实验表明，MatSpectNet达到了1.60%的平均像素精度和平均类精度的3.42%的提高，与最近的出版物相比。项目代码附在补充材料中，并将在GitHub上发布。

1.4 Joint one-sided synthetic unpaired image translation and segmentation for colorectal cancer prevention

用于结直肠癌预防的联合单侧合成非配对图像平移和分割

https://arxiv.org/abs/2307.11253

深度学习在分析医学图像方面表现出出色的性能。然而，由于隐私问题、标准化问题和缺乏注释，数据集难以获得。我们解决了这些问题，生产现实的合成图像使用3D技术和生成对抗网络的组合。我们提出了CUT-seg，一种联合训练，其中分割模型和生成模型联合训练，以产生逼真的图像，同时学习分割息肉。我们利用了最近的单侧翻译模型，因为它们使用的内存明显更少，允许我们在训练循环中添加分割模型。与需要两阶段训练的其他存储器密集型图像转换方法相比，CUT-seg执行得更好，计算成本更低，并且需要更少的真实图像。五个真正的息肉分割数据集，仅使用一个真正的图像和零真正的注释实现了有希望的结果。作为这项研究的一部分，我们发布了Synth-Colon，这是一个完全合成的数据集，其中包括20000张逼真的结肠图像以及关于深度和3D几何形状的更多细节：https://enric1994.github.io/synth-colon

1.5 Cascaded multitask U-Net using topological loss for vessel segmentation and centerline extraction

基于拓扑损失的级联多任务U网血管分割和中心线提取

https://arxiv.org/abs/2307.11603

血管分割和中心线提取是处理血管疾病的计算机辅助诊断工具中的两个重要的前期任务。最近，基于深度学习的方法已被广泛应用于这些任务。然而，经典的深度学习方法难以捕捉血管网络的复杂几何形状和特定拓扑结构，这在大多数应用中至关重要。为了克服这些限制，clDice损失，拓扑损失，集中在血管中心线，最近已经提出。这种损失需要计算，与建议的软骨架算法，骨架的地面真相和预测的分割。然而，软骨架算法在3D图像上提供了次优的结果，这使得clDice几乎不适合3D图像。在本文中，我们提出了一个U-网计算血管骨架直接从分割的软骨架算法。我们表明，我们的方法提供了更准确的骨架比软骨架算法。然后，我们建立在这个网络的级联U-网训练的clDice损失嵌入拓扑约束在分割。所得模型能够预测血管分割和中心线，具有更准确的拓扑结构。

1.6 Probabilistic Modeling of Inter- and Intra-observer Variability in Medical Image Segmentation

医学图像分割中观察者间和观察者内变异性的概率建模

https://arxiv.org/abs/2307.11397

医学图像分割是一项具有挑战性的任务，特别是由于观察者之间和观察者内的可变性，甚至在医学专家之间。在本文中，我们提出了一个新的模型，称为概率间观察者和iNtra观察者变化NetwOrk（Pionono）。它捕捉每个评分者的标签行为与多维概率分布，并集成这些信息与图像的特征图，以产生概率分割预测。该模型通过变分推理进行优化，并可进行端到端的训练。它优于最先进的模型，如STAPLE，概率U-Net和基于混淆矩阵的模型。此外，Pionono预测多个连贯的分割图，模仿评估者的专家意见，这为诊断过程提供了额外的有价值的信息。在真实世界的癌症分割数据集上的实验证明了Pionono的高精度和高效率，使其成为医学图像分析的强大工具。