[2021]NeRF−−: Neural Radiance Fields Without Known Camera Parameters

标题：NeRF−−: Neural Radiance Fields Without Known Camera Parameters

链接：https://arxiv.org/pdf/2102.07064

这篇文章主要讲的是如何在没有相机参数的情况下进行多视角的场景重构。

 

首先作者介绍了两种场景重构方式：

1. 直接还原场景的3D模型，这一方案的难点在于通常难以恢复细节，而且光照对于角度的变化并不真实，因为通常都会假设表面是漫反射的

2. 隐式表示（Implicit-Representation）的方案，即学习这么一个模型，输入是相机的参数，输出是相机视角观测到的图像。而nerf就是这种类型的模型。这种方案有助于减少3D模型的存储，但问题在于需要针对每个场景单独建模

然后，作者提到，在训练nerf的时候我们是需要配对的图像和相机参数的，但通常而言相机参数我们是无法获得的。在nerf中是使用了sfm方式预测了相机参数，但作者认为其实根本就不需要相机参数，因此就做了尝试。

首先，整体的模型结构都是基于NeRF的。作者先将相机的内参（焦距，焦点，高度）和外参（位置，旋转）设置为可学习的参数。然后在训练的时候会先将相机参数设为一个固定的初始化值，例如相机的朝向总是向着z轴的负方向的。然后通过这个相机参数和向radiance field里发射一条光线（即将相机参数和对应像素的位置输入radiance field），从而获得对应点的密度和颜色。然后再取不同的位置发射光线，最终将获得的密度和颜色通过体积渲染成一张完整的图片，从而与输入图像做loss，进而优化相机的内参和最终的图像表示。

其中作者还提到，为了提高模型的效果，其实可以重复的优化相机内参，即按照前面讲的训练完毕之后再将获得的相机内参保存，然后初始化nerf的所有参数，之后将保存的相机参数作为相机参数的初始化，再继续重复上面的步骤训练，这样可以得到一个更好的结果。