InsightMapper：A closer look at inner-instance information for vectorized High-Definition Mapping

参考代码：InsightMapper

动机与出发点：
对于向量化车道线多以点集方式建模，这样在模型输出端就可以直接得到向量化车道线表达。首先，点集的建模需要确认什么方式的向量建模方式最好，是inst_query加上共享points_query还是单独分开的效果好。再者，场景中的车道线在线内部和线之前是存在关联的，它们之间的关联是否被有效挖掘。针对如上两点这篇文章首先从query的生成过程优化向量车道线点集的表达，再根据点集类间和类内关系增强点集之间的内部关联，同时实际实验结果也证明改进整体query_embedding和增强query信息表达可显著提升向量车道线检测性能。文章的实验较为完备，可以详细阅读下文章的实验章节，如DN-DETR、Dynamic query等策略带来的影响都有做阐述。

回顾向量化车道线表达，对照下图将车道线划分为固定数量点的表达，则可以用点作为连接媒介建立车道线之间和线内信息关联

方法设计：
算法的结构见下图所示，整体结构与MapTR方法类似，主要的改动点在query设计和attention layer的改动上来，具体见下图被放大的部分

按照文章的意思是首先初始化全部点数量的point_query，之后将它们划分到不同的inst_query中去，但是看上图的query构建是有那么点问题，像画的是Hierarchical query generation。然后在transformer layer的后面增加一层inner attention，增强单条线内的point query关联。

Hybrid query generation：
之前的一些工作中使用inst_query加上共享point_query的方式（Hierarchical query方式构建），这样方式的含义是point_query需要去学习所有车道线的几何信息，但是车道线之间是差异很大的，强行去表达这些信息对这么少的共享参数是较难表达的，那么一个办法就是对每个inst_query都分配一组point_query以此来构建最终query（Hybrid query方式构建）。两种不同query构造方式之间的差异见下图所示：

query构建方式的效果对比：

inner和intra之间的关联：
在inner维度建立的是组成一条车道线点集内部关联关系，其并不与其它车道线上的点发生关联，在transformer layer中可以添加一层attention来增强线线内的关联（将其称之为Inner-Instance Multi-Head Self-attention，简称inner_attn），其中需要借助attention mask来实现这个功能，也就是下图中所示的样子

对于上图中说到的attn_mask文中将其按照概率$ϵ=0.25$的概率将其设置其中的值为1，用以作为增广操作增强鲁棒性。这个inner_attn的位置其实也是实验得到的（自然上图中的位置是效果最好的了），下图将它放在transformer layer的不同位置得到如下的变体版本：

那么这些变体版本经过实验之后的性能表现见下表：

在intra维度是将有连接、相交等物理连接关系的车道线之间做关联，自然就会导致intra的attn_mask比较稀疏，并且还需要与预测车道线之间是否存在物理关联的邻接矩阵，其结构如下图所示：

这样的改进带来的性能影响见下表：

可以看到intra_attn带来的涨点有限，但是却带来不小计算量。那么去掉邻接矩阵直接构建attn_mask观察这样带来的增益也是可以实验一下的。

query的融合：
传统transformer layer中使用FFN做最后输出，但是车道线的点是有明确几何关联的，则使用类似self-attn的方式去做融合，也能带来一点提升（0.5个点左右的性能变化并不是很大-_-||）

实验结果：
这里直接将它与代表算法MapTR-v2算法做比较