FB-OCC: 3D Occupancy Prediction based on Forward-BackwardView Transformation

NVidia，CVPR 2023 3D Occupancy Prediction Challenge workshop

paper：https://arxiv.org/pdf/2307.1492

code：https://github.com/NVlabs/FB-BEV

1. 大参数量image backbone
   1. InternImage-H，1B
2. 外部数据集预训练：
   1. object365
   2. nuscenes：有点云label，强化网络depth学习能力
      1. SAM模型打语义标签
3. 模型结构：深度估计网络+语义分割网络
   1. forward：LSS方案，计算深度，2d投sparse 3d 表征
   2. backward：BEVFormer方案，3d 表征 → bev表征（包含更好语义信息）
   3. expanding bev表征→ final 3D voxel表征