《PackNet：3D Packing for Self-Supervised Monocular Depth Estimation》论文笔记

参考代码：packnet-sfm

1. 概述

导读：这篇文章提出了一种自监督的深度估计方法，其使用视频序列与运动信息作为输入，用网络去估计深度信息/相机位姿，并用最小重构误差去约束整个训练的过程从而实现自监督。文章的创新点主要体现为：使用3D卷机作为深度编解码网络，在相机位姿的6d信息基础上对平移分量进行约束，提出了一个新的数据集DDAD（Dense Depth for Automated Driving）。

单目情况下的自监督深度估计问题一般是使用几个相邻的视频帧去相互映射，其中完成映射所需要的参数是通过网络估计出来的。在这篇文章之前monodepth是一个较为成功的案例，文章的方法在很多环节的设计上与之类似，整体下来文章的主要工作可以归纳为：

• 1）提出了一种新的编解码网络去预测深度信息，其中使用3D卷积替换了传统使用的pooling和线性upsample操作，从而使得图片中的目标细节能够更好的保留下来；
• 2）在monodepth中直接使用pose-net去估计相机的位姿但是这个相机位姿是没有一个准确的scale去约束的，好在可以使用加速度传感器等得到瞬时速度信息，从而可以与估计出来的相机位姿中的平移分量进行约束；
• 3）文章针对自动驾驶的场景提出了新的DDAD数据集；

文章方法的效果见下图例子所示：

可以看到上图的深度估计结果要比monodepth的结果边缘上更加锐利一些。

2. 方法设计

2.1 文章pipline

文章的整体pipeline结构见下图所示：

可以看到该pipeline与monodepth的类似，一个深度估计网络用于估计目标图像逐像素点的深度信息，一个姿态估计网络去估计相机旋转和平移的几个分量，之后通过几个关系建立起自监督关系，从而实现训练与收敛。与monodepth不同的一点是其对相机的位姿平移分量进行了约束，从而使得网络有了较为准确的scale信息，从而避免了monodepth中存在的scale不清晰的问题。

2.2 深度自监督部分

深度的自监督与monodepth中使用的方法类似，其损失函数为：
$$L(I_t,\widehat{I_t})=L_p(I_t,I_s)\odot M_p\odot M_t+{\lambda }_1{L}_s(\widehat{D_t})$$
其中，$M_t$代表的是那些未被匹配到的像素掩膜。其中对于重建误差的描述形式为：
$$L_p$$