3D基础概念

三维重建

定义：用相机拍摄真实世界的物体、场景，并通过计算机视觉技术进行处理，从而得到物体的三维模型。

涉及的主要技术：多视图立体几何、深度图估计、点云处理、网格重建和优化、纹理贴图、马尔可夫随机场、图割等等。

三维重建主要分为主动式测量和被动式测量。
被动式
被动式一般利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到物体的立体空间信息。主要有SFS(Shape From Shading,从阴影恢复形状)和立体视觉方法等。

1.SFS
图像的阴影边界包含了图像的轮廓特征信息，因此能够利用不同光照条件下的图像的明暗程度与阴影来计算物体表面的深度信息，并以反射光照模型进行三维模型。阴影恢复形状法的应用范围比较广泛，可以恢复除镜面外的各种物体的三维模型。缺点体现在过程多为数学计算，重建结果不够精细，另外不能忽视的是，SFS法需要准确的光源参数，包括位置和方向信息。这就导致其无法应用于诸如露天场景等复杂光线的情形中。

2.立体视觉
主要是分为双目立体视觉和多目立体视觉，前者可以看作是后者的特例。
——双目立体视觉：利用成像设备从不同的位置获取被测物体的两幅图像，对它们进行立体校正，然后基于视差原理，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差图像。

——多视立体视觉(MVS)：从一系列图像中重建3D模型即基于RGB的建模(刚体重建)，mvs算法可以仅根据图像重建出精细的三维模型。它能取一组可能非常大的图像，然后构造一个准确的3D几何模型，主要是基于一些合理的假设比如场景的刚性。

主动式
1.激光三角法
利用三角形几何关系求得距离。先由扫描仪发射激光到物理表面，利用在基线另一端的CCD相机接收物体反射信号，记录入射光与反射光的夹角，已知激光光源与CCD之间的基线长度，由三角形几何关系推求除扫描仪与物体之间的距离。为了保证扫描信息的完整性，许多扫描仪扫描范围只有几米到数十米。这种类型的三维激光扫描系统主要应用于工业测量和逆向工程重建中。它可以达到亚毫米级的精度。

2.结构光原理
结构光是由一个投影仪以及CCD相机组成，用投影仪投射出固定的编码的光栅到被测物体上，CCD相机根据光栅的变化来计算出物体的空间位置(X,Y,Z)坐标，进而获得物体表面轮廓数据。

3.时间飞行(TOF)法
传感器发出类似红外线的光，遇到物体反射后，传感器通过计算机光线发射和反射的时间相位差，来换算被测物体距离，以产生深度信息，再结合传统相机获物体表面的轮廓。

深度图(depth)/视差图(disparity)

深度图：场景中每个点到相机的距离；
视差图：同一场景中在两个相机成像的像素的位置偏差dis；
两者关系：depth = b * f / dis;都是三维信息的一种表达方式；

三维点云(point cloud)

三维点云是某个坐标系下的点的数据集，其包含了丰富的信息，包括三维坐标XYZ，颜色RGN等信息；

稠密点云获取方式

1. LiDAR扫描：
优点：精度高(毫米级别)，效率高，有效范围几米到几百米；
缺点：价格昂贵，高反光，玻璃表面，吸收表面。

2.Kinect

优点：使用方便，价格适中，速度较快；
缺点：精度较低，有效距离短。

3.结构光(Structured Light)

优点：高精度，高效率；
缺点：近距离数据获取。

4.基于图像的方法-Multi-view Stereo

优点：无源被动式，成本低，图像来源广，精度较高；
缺点：计算速度慢。

三维网格(mesh)

三维网格是由物体的邻接点云构成的多边形组成的，通常由三角形、四边形或其他简单凸多边形组成。

纹理贴图模型(texture mesh)

  纹理贴图模型是指带有颜色信息的三维网格模型，所有的颜色信息存储在一张纹理图上，显示时根据每个网格的纹理坐标和对应的纹理图进行渲染得到高分辨率的彩色模型。