F-PointNet 论文阅读理解

总述

本文提出一种方法：

使用成熟的2D的目标检测方法中cnn提供的region proposal和3D的目标检测定位（也就是pointnet处理点云），将二者结合利用RGB-D映射和一个叫做锥体（Frustum）?形成一个3D的box参数进行输出。

本文主要贡献就是在“一个叫做锥（Frustum）”的使用上结合2D的region propos和点云进行3D的分割和box的输出。

为方便理解与书写，按照文中顺序理解书写，小白一个，不足之处请多指正。

相关介绍

• 首先阐明本文的中心工作：3D 目标检测---对来自3D传感器数据（点云）的目标进行分类以及输出有方向的bb。
• 表明现在大多数将点云转换成图像的方法：投影法和体素法，以及直接处理点云的PointNet方法用于目标分类和语义分割。
• 但是直接使用点云进行实例级的3D目标检测存在一定的问题，如网络结构的不清楚以及在进行选取3Dregion proposalde 费时费力达不到要求。
• 由此本文提出利用成熟的2D目标检测算法中的2D region proposal。（如图1）具体步骤

1. 首先从2D的bbzhong 挤压缩成一个3D的锥点
2. 然后在3D 空间中对每一个3D 的锥点进行trimmed（修剪），以及使用pointNet（pointNet++）连续的执行3D的实例分割和3D模块化的bb输出回归。其中：
   1. 分割网络对其感兴趣的目标
   2. 回归网络估计模块化的3Dbb

       

在结构中，连续地在三维坐标系上应用几个变换，这些变换将点云对齐排列成为更约束和规范的序列。这些对齐因素决定了数据中的姿态变化，从而使3D几何图案更加明显，从而使3D学习的工作更轻松。其次，在3D空间学习可以更好地利用3D空间的几何和拓扑结构。原则上，所有物体都生活在3D空间中;因此，作者认为许多几何结构（例如重复，平面度和对称性）更自然地能够直接在三维空间中捕获、学习并参数化。这种以3D为中心的网络设计理念的实用性得到了最近的许多实验证据的支持。

本文方法的主要贡献：

• 提出了一种新的基于RGB-D数据的三维物体检