2020ECCV|EPNet: Enhancing Point Features with Image Semantics for 3D Object Detection阅读笔记

论文题目：EPNet: Enhancing Point Features with Image Semantics for 3D Object Detection
单位：华中科技大学

1.解决的问题：
1）第一是说之前基于级联的融合方法不能利用传感器之间的互补性，基于BEV的融合方法通过投影和体素化会损失一些信息，且没有在voxel feature和semantic feature之间建立一个很明确的相对关系。提出了LI-Fusion来解决。
2）第二是说融合时如果引入摄像机图像受到光照遮挡的特征会引入干扰信息。于是提出了LI-Fusion来解决。
3）分类置信度和定位置信度之间的不一致，具有较高分类置信度的包围盒反而具有较低的定位置信度，这是NMS引起的问题，因为NMS是会过滤掉低置信度高重合度的框。提出了CE loss来解决
4）解决了端到端训练的问题

2.方法：

1）Image stream：这边用了多个轻量级卷积模块提取semantic features，在前向传播的过程中，不同尺度的输出会和LiDAR特征融合，最后用了4个不同步长的转置卷积将4个模块卷积后的输出恢复到和原始图像相同的分辨率，并concat起来生成更具代表性的特征图，也就是包含了更丰富的语义信息和不同感受野，也提供给LiDAR特征做融合。

2）geometry stream：输入是LiDAR点云，用PointNet++的SA模块和FP模块（用来恢复size的）提取特征

3）LI-Fusion Module：

针对问题1：将LiDAR点投影到相机图像上，将投影矩阵表示为M，网格生成器就是以LiDAR和M为输入，输出投影后的LiDAR图，然后用图像采样器以采样位置p’ 和Image Feature作为输入，为每个采样位置p’产生逐点的图像特征表示，考虑到采样位置可能落在相邻像素点之间，作者采用双线性插值法在连续坐标下提取图像特征。
针对问题2：将LiDAR特征FP和上阶段生成的FI通过全连接后然后add起来，最后压缩成一个权重图，这样权重图和相机的特征进行element-wise mutiplication就可以选择相机特征了。

4）Refinement Network：在Refinement Network前进行了NMS，保存高质量的proposals送进Refinement Network，Refinement Network由3个SA层组成

5）Consistency Enforcing Loss：（针对问题3）
此loss用于RPN阶段

D表示预测框，G表示ground truth，c表示预测框输出的类别。

6）总loss

Lrpn是代表双流RPN网络的损失，rcnn是代表 refinement network的损失。

这里Lcf应该是Lce。

3.实验结果