基于光流的三维重建技术

姓名：王天宇

学号：20181213976

学院：物理与光电工程学院

【嵌牛导读】

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。

物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、软件算法研究与嵌入式系统设计领域的共性问题和核心技术。

【嵌牛鼻子】

基于光流的三维重建技术

【嵌牛提问】

光流是如何应用到物体三维重建系统中的？

【嵌牛内容】

1.稀疏光流

稀疏光流是对图像中部分或少数像素点进行对应采样，由于计算量较小并且易于实现，主要应用于目标定位和目标追踪等领域。

1.1基于稀疏点光流的三维重建技术

此方法根据图像特征点与三维空间点的几何关系提出了基于图像稀疏点光流的非线性三维重建算法。又因为非线性算法无法获得唯一解，又有学者提出基于特征点光流的三维重建线性算法。考虑到线性算法重建模型对图像噪声较为敏感，便加入了滤波器的使用，但仍然面临重建模型需要过大的时间消耗问题。

随着图像特征点提取技术的发展，基于稀疏点光流的三维重建技术在重建精度等方面有很大的提高；随着鲁棒估计算法在计算机视觉领域的应用，稀疏点光流三维重建技术的鲁棒性得到较大提高，在复杂环境重建、大场景重建、目标相对运动重建、运动遮挡重建等方向取得了进展。

1.2基于稀疏直线光流的三维重建技术

稀疏点光流的三维重建技术仅仅利用了图像中像素点这一最小单位，当图像存在大位移运动、运动遮挡与模糊等困难运动问题时，稀疏点光流重建模型的鲁棒性问题仍没有得到很好的解决。

直线是计算机视觉中最常用的一种特征信息之一，相对于单个像素点，直线特征的抽象层次更高，能够提供更多的拓扑结构信息，因此基于直线光流的三维重建方法成为一个研究方向。

2.稠密光流

稠密光流是对图像中所有像素点进行逐点采样，通过计算图像上所有像素点的偏移量，从而得到一个稠密的光流场。利用稠密光流场可以进行像素级别的图像配准。相比稀疏光流，使用稠密光流在计算速度上更慢，但计算效果和计算准确度都更胜一筹，通过多次迭代能获得更为精确的光流值，并且稠密光流还具有更丰富的图像细节信息。

2.1基于稠密光流的三维间接重建技术

基于稠密光流的间接重建方法是通过图像光流与三维运动空间的几何关系重建运动物体或场景的三维运动与结构。

最早提出的模型是基于局部区域光流的三维运动估计模型，模型较为简单，重建效率快，但缺少对光流误差的惩罚机制。进一步有学者提出基于全局约束和局部约束相结合的重建模型，有效抑制了光流误差的负面影响。针对局部区域内光流误差的相互传导问题和真实场景的三维重建问题，也有学者提出了一些解决思路。

当图像包含多个运动物体时，准确区分不同物体的运动是间接重建法的重要问题。有学者根据光流估计结果对运动目标进行动态阈值分割，再利用加权局部区域算法计算运动物体的三维运动参数和相对深度信息，但由于光流区域常常大于物体的真实运动区域，因此结果并不理想。针对阈值分割的缺点，有学者提出用边缘检测算子对图像光流进行分割，并利用运动物体的边缘约束条件重建其相对深度。针对时间消耗问题，也有学者提出基于图像光流的概率统计的三维重建模型，既提高了运动物体遮挡情况下模型重建的准确性，也减小了重建模型的时间消耗。

2.2基于稠密光流的三维直接重建技术

光流计算过程常常会在间接重建算法中带来较大时间消耗与计算误差，有学者通过图像像素点亮度与对应空间点的透视投影关系定义了基于亮度恒等的三维运动估计守恒假设，然后提出基于局部邻域约束的稠密光流三维重建直接方法。基于稠密光流的直接重建方法无需事先计算图像光流，有效降低了光流计算带来的误差风险与时间消耗，因此迅速成为单目图像光流三维重建技术研究的热点。

3.存在问题

（1）图像光流计算是基于图像数据的守恒假设，但是光照变化和大程度的相对运动导致像素点突变现象使得假设出现不连续问题，使得计算结果不理想。

（2）基于非局部约束的光流计算模型逐渐成为主流，但此方法只考虑了图像相邻像素点的加权约束，导致出现“过渡分割”的现象，陷入局部最优情况。

（3）当图像中存在非刚性运动或运动遮挡时，物体或场景的像素点及一些特征会出现时有时无的现象，此时计算便失去了鲁棒性。

（4）基于稠密光流的三维重建可以充分体现表面细节信息；基于特征光流的三维重建对图像亮度不敏感，且直线、曲线等特征包含物体更多的拓扑结构。但目前的研究，两类方法基本处于平行状态，没有进行交叉融合。

（5）基于单目的图像光流三维重建结果常常包含与深度坐标相关的未知参数，使得重建结果的量化评价比较困难。