Multi-Target Pan-Class Intrinsic Relevance DrivenModel for Improving Semantic Segmentationin Auton

题目

Multi-Target Pan-Class Intrinsic Relevance Driven  Model for Improving Semantic Segmentation

in Autonomous Driving

改进自主驾驶中语义分割的多目标泛类内在关联驱动模型

摘要

利用多目标泛类内在相关性  来细化目标主体分割的模型

主要贡献：

（a）多目标泛类内在相关性先验知识建立(RPK-Est)模块建立了内在相关性的先验知识，为后续泛类内在相关性特征的提取奠定了基础

（b）基于所提出的多目标节点图和图卷积网络，设计了多目标泛类内在关联特征提取(RF-Ext)模块来提取泛类内在关联特征

（c）提出了多目标泛类内在相关特征集成(RF-Int)模块，通过生成式对抗性学习策略在梯度水平上整合内在相关特征和语义特征，使内在相关特征在语义分割中发挥作用。

引言

问题：

解决方案：类内关系

CESS：模型在一个全局范围内探索了目标和场景之间的关系，并基于对场景的先验知识来预测目标出现的机会。

CPSS：最接近该模型的第二个语义分割上下文模型是场景分割上下文先验模型，该模型基于先验类别上下文。CPSS直接监督特性聚合，以澄清类内和类间的上下文。

相关工作

CGNet的上下文引导(CG)块学习了局部特征和周围上下文的联合特征。它在网络的所有阶段捕获上下文信息，并专门通过CG块来提高分割精度

提出的方法

A. The Multi-Target Pan-Class Intrinsic Relevance Prior  Knowledge Establishment Module

1）motivation 交通场景中不是相互独立

2）Problem Solution 目标被分成八组

a) Pan-class intrinsic relevance:

intra-class intrinsic relevance：行人和行人之间

inter-class intrinsic  relevance：行人和人行道之间

对目标进行空间排序area

 3）Performance

B. Multi-Target Pan-Class Intrinsic Relevance Feature

Extraction Module

1）motivation  提取是个问题

2）Problem Solution 转换为节点图，2d卷积网络不能提取节点之间的泛类内在相关特征，构建图卷积网络。包含两个部分：接收场向量构造、接收场卷积。

接收场向量构造三步：a选择接收场节点、b接收场节点排序、c形成接收场

a选择接收场节点：根据k选择

b接收场节点排序：

c形成接收场：

3）performance:随着深度增加 内在相关性变得清晰

消融实验：普通神经网络 只能提取类内关系DenseNet，但是不能类间，整合类内和类间

C. Multi-Target Pan-Class Intrinsic Relevance Feature

Integration Module

1) Motivation:整合关联特征和语义特征

2) Problem Solution: 对抗网络，关联特征和语义属于异构

看不懂了 先放弃 有空再写！