【论文笔记】GaussianFusion: Gaussian-Based Multi-Sensor Fusion for End-to-End Autonomous Driving

原文链接：https://arxiv.org/abs/2506.00034v1

简介：现有的多传感器融合方法多使用基于注意力的拉直(flatten)融合或通过几何变换的BEV融合，但前者可解释性差，后者计算开销大（如下图(a)(b)所示）。本文提出GaussianFusion（下图(c)），一种基于高斯的多传感器融合框架，用于端到端自动驾驶。使用直观而紧凑的高斯表达，聚合不同传感器的信息。具体来说，首先在驾驶场景中均匀初始化一组2D高斯，每个高斯包含其物理属性及显式与隐式特征。这些高斯通过逐步整合多模态特征被细化。显式特征捕捉语义和空间信息，而隐式特征为轨迹规划提供补充线索。为充分利用高斯丰富的空间和语义信息，本文还提出级联规划头，通过与高斯交互，逐步细化轨迹预测。

0. 概述

端到端自动驾驶的目标是直接从原始传感器输入预测自车的未来轨迹。给定多视图图像$\mathcal{I}=\{I_i\in {\mathbb{R}}^{3\times H\times W}|i=1,\cdots ,N\}$，激光雷达点云$P\in {\mathbb{R}}^{n\times 3}$和变换矩阵$\mathcal{T}=\{T_i\in {\mathbb{R}}^{3\times 3}|i=1,\cdots ,N\}$，目标是预测自车轨迹$\tau =\{(x_t,y_t){\}}_{t=1}^T$。

GaussianFusion的结构如图所示，可分为3个阶段：高斯初始化、高斯编码器和高斯解码器。

1. 高斯初始化

本文使用2D高斯建模交通场景。具体来说，随机初始化一组2D高斯$\mathcal{G}=\{G_i|i=1,\cdots ,P\}$，其中$P$为预定义的高斯数量。每个高斯包含物理属性和隐特征。物理属性包括均值$m\in {\mathbb{R}}^2$，尺寸$s\in {\mathbb{R}}^2$，旋转$r\in {\mathbb{R}}^2$和语义logit $c\in {\mathbb{R}}^C$（$C$为类别数）。隐特征包括显式特征和隐式特征，通过两个分支分别细化。

2. 高斯编码器：来自多传感器融合的高斯

为学习高斯表达，使用两个独立的主干来提取多视图图像和激光雷达点云的多尺度特征，并使用特征迭代地细化高斯的物理属性和隐特征。每次迭代包括点交叉注意力模块、图像交叉注意力模块、高斯自注意力模块和细化模块。隐特征被分为显式分量和隐式分量，前者由多传感器输入的局部区域通过显式几何变换得到，用于更新高斯的物理属性；后者则与全局的多传感器特征交互（不依赖几何变换），并专门用于轨迹规划。

点交叉注意力：来自点的高斯。点交叉注意力（PCA）用于从点特征提取信息。对每个高斯$G=\{m,s,r,c,f^{exp},f^{imp}\}$，本文生成一组查询点$\mathcal{Q}=\{(x_i,y_i)|i=1,\cdots ,n_q\}$。这组查询点包括固定点和可学习点：固定点分布于高斯周围（与高斯协方差相关），而可学习点被限制在高斯内部。给定多尺度点特征图${\mathcal{M}}^p=\{M_i^p\in {\mathbb{R}}^{d\times H_i^p\times W_i^p}|i=1,\cdots ,n_s\}$，使用可变形注意力层聚合信息，并更新高斯的物理属性：
$$f^{exp†}=\sum _{i=1}^{n_q}DeAttn(f^{exp},{\mathcal{Q}}_i,{\mathcal{M}}^p)$$

对于隐式特征，使用交叉注意力与最后尺度的点特征$M_{n_s}^p$建立交互：
$$f^{imp†}=CrossAttn(f^{imp},M_{n_s}^p)$$

上述公式省略了残差连接和FFN部分。更新后的高斯被表达为$G^{†}=\{m,s,r,c,f^{exp†},f^{imp†}\}$。

图像交叉注意力：来自图像的高斯。为整合视觉信息，使用图像交叉注意力（ICA）模块。该模块同样为每个高斯生成固定的和可学习的查询点，但额外包含高度信息，以能够被投影到图像上。具体来说，在采样的2D查询点的基础上，为每个位置沿垂直轴均匀采样$n_p$个柱体点，其高度在场景的高度范围内，即$z_g\in [z_{\min },z_{\max }]$。这样，得到$n_q\times n_p$个3D查询点。给定多尺度图像特征图${\mathcal{M}}^I=\{M_i^I\in {\mathbb{R}}^{d\times N\times H_i^I\times W_i^I}|i=1,\cdots ,n_s\}$，高斯的显式和隐式特征可按如下计算：
$$\begin{gathered} f^{exp‡}=\sum _{i=1}^{n_q\times n_p}DeAttn(f^{exp†},{\mathcal{Q}}_{3d,i},{\mathcal{M}}^I), \\ {f}^{imp‡}=CrossAttn(f^{imp†},M_{n_s}^I) \end{gathered}$$

这样，得到更新后的高斯表达$G^{‡}=\{m,s,r,c,f^{exp‡},f^{imp‡}\}$。

高斯细化模块。分别对显式特征和隐式特征使用两个自注意力模块建立高斯之间的联系：
$$\begin{gathered} \{{f_i^{exp}}^{\prime }{\}}_{i=1}^P=SelfAttn(\{f_i^{exp‡}{\}}_{i=1}^P,\{e_i{\}}_{i=1}^P), \\ \{{f_i^{imp}}^{\prime }{\}}_{i=1}^P=SelfAttn(\{f_i^{imp‡}{\}}_{i=1}^P,\{e_i{\}}_{i=1}^P) \\ \{e_i{\}}_{i=1}^P=PosEmbed(\{m_i{\}}_{i=1}^P) \end{gathered}$$

其中$e_i$为位置嵌入。此后，使用MLP，基于显式特征细化高斯的物理属性：
$$G^{\prime }=\{m^{\prime }+m,s^{\prime },r^{\prime },c^{\prime },{f^{exp}}^{\prime },{f^{imp}}^{\prime }\},(m^{\prime },s^{\prime },r^{\prime },c^{\prime })=MLP({f^{exp}}^{\prime })$$

高斯编码器会迭代地细化高斯表达。最后，高斯被输入到高斯解码器，进行下游任务如建图和规划。

3. 高斯解码器：高斯到场景的推理

本文设计的高斯解码器包含两个组件：建图和级联规划。前者显式重建交通场景，为细化高斯物理属性和显式特征提供反向传播的梯度，其中用到GaussianFormer-2中的概率高斯叠加。后者结合高斯的隐式特征，以级联方式生成轨迹预测。

级联规划。使用基于锚的规划策略，根据数据集的轨迹分布，建立锚轨迹集（anchor trajectory vocabulary）。给定高斯编码器的输出，以级联方式细化锚轨迹$\mathcal{A}=\{A_i\in {\mathbb{R}}^{T\times 2}|i=1,\cdots ,k\}$。对锚轨迹$A$的每个轨迹点，计算其与所有高斯的距离，并选择最近的$m$个高斯，所有$T$个轨迹点对应的$m$个高斯组成高斯子集${\mathcal{G}}_A=\{G_i|i=1,\cdot ,mT\}$。锚特征$F_A$通过查询高斯子集得到：
$$\begin{gathered} F_A=CrossAttn(F_{query},F_{{\mathcal{G}}_A}), \\ {F}_{query}=Embedding(A), \\ {F}_{{\mathcal{G}}_A}=\{[f_i^{exp};f_i^{imp}]|i=1,\cdots ,mT\} \end{gathered}$$

其中Embedding为嵌入层，$F_{query}$为初始查询特征，$[\cdot ;\cdot ]$表示拼接操作。该式称为高斯空间注意力。

交通地图和周围智能体可通过最新的高斯集合解码得到，因此使用交叉注意力层建立锚特征$F_A$与高斯隐特征之间的联系。细化的轨迹通过下式（称为高斯交叉注意力）得到：
$$\begin{gathered} \tau =MLP(F_o)+A \\ {F}_o=CrossAttn(F_A,F_{\mathcal{G}}) \\ {F}_{\mathcal{G}}=\{[f_i^{exp};f_i^{imp}]|i=1,\cdots ,P\} \end{gathered}$$

当前阶段的预测轨迹$\tau$被下一阶段作为锚轨迹，并迭代地细化。使用与DiffusionDrive相同的轨迹损失监督级联细化过程。

实验发现加入额外的智能体预测头会降低性能，这可能是智能体预测任务不能为高斯细化过程提供有效指导，反而会引起模糊性。

附录A. 地图重建

对于地图像素位置$x\in {\mathbb{R}}^2$，计算其落入不同高斯的概率：
$$\begin{gathered} \alpha (x;G_i)=\exp (-\frac{1}{2}(x-m_i{)}^T{\Sigma }_i^{-1}(x-m_i)) \\ {\Sigma }_i=RS{S}^T{R}^T,S=diag(s),R=r2m(r_i) \end{gathered}$$

其中$r2m(\cdot )$表示旋转向量到旋转矩阵的变换。概率可按下式叠加：
$$\begin{gathered} o(x;\mathcal{G})=\sum _{i=1}^{P}p(G_i|x)c_i^{\prime }=\frac{{\sum }_{i=1}^{P}p(x|G_i)a_i{c}_i^{\prime }}{{\sum }_{j=1}^{P}p(x|G_j)a_j}\in {\mathbb{R}}^C \\ p(x|G_i)=\frac{1}{(2\pi {)}^{\frac{3}{2}}|{\Sigma }_i{|}^{\frac{1}{2}}}\exp (-\frac{1}{2}(x-m_i{)}^T{\Sigma }_i^{-1}(x-m_i)) \end{gathered}$$

其中$o(x;\mathcal{G})$为$x$处不同语义的logit，$a_i$为网络预测的、高斯$i$存在的先验概率，$p(G_i|x)$为后验概率。可基于此推导前景与背景概率：
$$\begin{gathered} p_b(x)=\prod _{i=1}^P(1-\alpha (x;G_i))\in {\mathbb{R}}^1 \\ {p}_f(x)=(1-p_b(x))Softmax(o(x;\mathcal{G}))\in {\mathbb{R}}^C \end{gathered}$$

对于背景像素$x_b$，$p_b(x_b)$会随着高斯聚集在$x_b$处而降低，因为$p_b(x_b)\le 1-\alpha (x_b;G_i)$对所有高斯成立。对于前景像素$x_f$，$p_f(x_f)$会随高斯聚集在$x_f$处而升高，因为$1-p_b(x_f)\ge \alpha (x_f;G_i)$对任一高斯成立。因此，上式会鼓励高斯移动到前景位置。给定前景背景预测$[p_b;p_f]\in {\mathbb{R}}^{C+1}$和真实BEV地图，使用交叉熵损失和lovasz-softmax损失作为建图损失。