[论文笔记] semi-dense 3d semantic mapping from monocular slam

semi-dense 3d semantic mapping from monocular slam

这居然是CVPR best paper吗，我似乎读了一篇假论文_(:з)∠)_……
大概是自己太菜了没读懂QWQ，改天再读一遍

1. introduction

这篇论文的思想比较易懂，使用单目LSD-SLAM+deeplab，生成半稠密的语义地图。文章解释了，对于RGBD或双目相机，存在尺度限制问题，他们只能在有限的深度范围内工作，而对于室内室外的衔接能力弱。因此选用了单目SLAM。此外，2D语义分割是在关键帧上做的，也并非真正的实时。

文章还阐述了使用半监督SLAM的优势：对于ORB SLAM等基于特征点的稀疏地图，不适合做semantic mapping。对于elastic fusion等稠密地图，适用于RGBD或双目，而不适合单目。因此折中选择了半稠密的LSD SLAM。

主要贡献有：

• 提出2d-3d的数据关联方法
• 提出3D地图点深度的正则化方法

2. Approach

系统由三个并行线程：

• 三维重建线程：用于选择关键帧、基于位姿图进行三维地图重建。
• 图像分割线程：对于关键帧，进行pixel level的语义分割。同时基于连续帧，进行局部最优深度估计，来优化关键帧的深度信息。
• 全局优化线程：基于每隔地图点的邻域点，对3D语义地图点进行优化，得到全局一致的三维地图。

全文没啥作者自己的想法…

语义分割：直接用的deeplabv2

SLAM：LSD SLAM

数据关联：和semantic fusion一样的贝叶斯方法

全局优化：和semantic fusion一样的CRF。