Semantic 3D Occupancy Mapping through Efficient High Order CRFs

摘要

• 本文中我们提出一个增量式近实时的语义建图系统
• 构建了一个3D滚动占用网格图来表示世界，内存和计算效率很高，并且适用于大规模环境。
• 我们利用CNN分割作为先验预测，通过一个新的CRF模型进一步优化三维网格标签。利用超像素增强算法的平滑性，形成鲁棒的高阶势。针对图优化问题，提出了一种有效的平均域推理方法。
• 我们在KITTI数据集熵评估了系统，并相对于已有的系统提高了超过10%分割精度

Introduction

• 语义三维重建现有的方法都有限制：例如不能实时运行或不能适用于大规模场景，即使一些在GPU加速下可以实时
• 单目只能在室内小环境，为了更好的适用性选用双目相机
• 我们用CNN对2维图像计算像素标签描述并转换到3维栅格空间中。然后提出一个高阶cliques的概率随机域(CRF)模型来增强网格中的语义一致性。clique是通过超像素产生的。提出了一种有效的基于滤波的平均场（field）近似推理方法。
• 贡献：
  • 用滚动占据网格地图、可应用于大规模环境、（近）实时增量式语义3维建图系统
  • 在KITTI数据集熵提高分割精度>10%
  • 利用稳健的 potts模型，提出了一种基于滤波器的高阶CRFs平均场推理方法，并将其转化为一个分层的pairwise模型

几何建图

A.

• 分成三步：双目深度估计、相机位置估计、构建3D网格地图
• 深度估计用三角测量计算视差
• 用双目ORB-SLAM来估计相机6自由度位姿
• 为了融合不同视角的观测点，把点云地图变成3D occupancy grid，每个grid存储被占据的概率并通过基于双目深度测量的光线跟踪逐步更新。如果占用值超过了一个阈值，则该网格将被视为已占用，并被考虑用于后一个CRF优化
• 为了保持内存和计算效率，占据地图保持一个固定的尺寸并随着相机移动（应该就是摘要里说的滚动式）

B.颜色和标签融合

• 占据地图中还存储颜色和标签分配 为了后面的CRF优化
• 颜色融合直接用不同观测的平均值
• 标签融合用标准的Bayes准则：（和占用地图更新相似）

IV. HIERARCHICAL SEMANTIC MAPPING