计算机视觉的巨大应用

      先来提出一些问题，1、我们是否能够从图像中获取某些有用的信息，比如图像中有一个人，我想知道这人的身高，距离拍摄位置有多远，以及拍摄该图像的相机镜 头的方向等等，这些信息对于刑侦还有安全部门的人员是十分有用的。2、看过《变形金刚2》的人都会被人类和变形金刚交互的逼真场面，还有狂派机器人攀爬到 金字塔顶疯狂破坏金字塔的场景所震撼，那么这些虚构的景物是如何融入到真实场面的呢？3、Google street view可以让我们足不出户而到世界各地观光，而且这种观光是可以按照你的意愿选择路线还有观察角度，这就让人有“身临其境”的感觉了，当然目前的限制还 很多，但我们希望有一天能够更自由的“置身”于街景中，从全景到局部细节都能清晰的欣赏到。

      所有的这一切都是通过“计算机视觉”这门理论和技术去完成的，计算机视觉的数学基础是射影几何还有矩阵代数，不过在这里不讨论高深的数学表达式，而是用通俗的语言去阐述这门学科的一些机理及其巨大的用途。

       我 们知道，现实世界中三维场景通过相机的透镜成像在二维图像中，我们可以对三维场景和镜头分别建立各自的坐标系，之所以要分别建立坐标系是出于方便处理分析 考虑的，当然它们公用一个坐标系也可以，在某些时候也是这样简化分析的。于是两套坐标系之间的点就有了相互转换的公式了，通常把世界坐标转换到相机坐标， 然后该点的光线通过透镜光心与成像屏幕相交而成像，当然这是小孔成像模型，实际上透镜是汇集光线后成像的，这样得到的像才足够清晰。我们都知道调节相机的 焦距可以把成像放大或者缩小，于是三维坐标经过相机内部的转换（除了焦距还有其他一些参数决定）之后变成了二维图像以像素为单位的坐标，物体发出的光线的 色彩亮度决定了它成像后的像素色彩值，于是整个成像的主要过程就大概可以这样简化了，当然还有一些细节这里就不讨论了。于是可以说，只要给出了相机的和世 界的坐标系，还有相机的参数，我们就能够计算出世界坐标系中一点也就是物体上一点成像后在图像中的坐标，而无需实际测量一下图像中的对应点。

      现在我们可以解释开篇提出的第2个问题了，不妨把世界坐标和相机坐标系合并成一个，只要以摄像机的光心为原点，平行于地面过光心的屏幕为xoy平面建立一 个坐标系，人和真实的景物在这个3D场景中通过摄像机成像，而虚构的变形金刚由专业设计师事先建立好3D模型，点线面以及色彩渲染，然后把这个模型“放入 ”场景中该虚拟物体应该处在的位置，当然这个“放入”是在计算机中完成的，使用上面提到的三维点到图像的转换就能够让虚拟的景物和真实的场景出现在同一张 画面中。

      那 么第1个问题怎么解决呢？通过前面的讨论我们知道成像是从三维到二维的过程，那么要把三维的信息投影到二维平面上，我们都可以想象信息会丢失，除非图像中 有某些景物可以提供更多的信息，基于这些信息我们根据计算机视觉的基础——射影几何可以计算推导出想要的结果。比如图像中有一个盘子，根据经验我们知道它 的边缘是圆形的；比如图像中有扇门，它是某某牌子的，正好我家也是这个牌子的门，那么根据经验我知道这扇门是矩形的，并且它的长度和宽度我也知道，如果图 像中正好有个人他在这扇门的旁边，那我据此可以推算出这个人的身高；又比如图像中有幢大楼，据经验知道它是长方体，然后可以通过摄影几何中的消隐点方法推 算出拍摄此图像的相机镜头与大楼所成的方向角等信息。

      但是如果图像中没有这些事先可以知道的信息又该怎么办？这就需要用到计算机视觉中的重构理论了，通过不少于两幅从不同角度拍摄同一个场景，如果我们又知道 相机的参数以及拍摄这些照片时候的位置和角度，那么只把同一场景在各图像上成像的对应点找到，就可以根据计算机视觉的重构理论把景物的世界三维坐标计算出 来，那么一切关于景物的数量关系都可以得到了。但问题又来了，相机的参数怎么知道呢？计算机视觉的定标理论可以解决。对应点通过人工去找必然会很累，所以 通过诸如SIFT、YAPE等关键点查找并匹配算法可以自动实现匹配，这些都是近年来发展出来的算法，但这样也只能够获得为数不多的关键匹配点，重构出来 的模型的点数不多，通过密集光流等运动获取结构算法可以在一定程度解决。还有一个问题，那就是如果两幅拍摄同一物体的图像的相机参数都不知道还有可能重构 吗？通过计算机视觉的对极几何知识我们可以得到一个很有用的结果，那就是通过匹配好的点可以计算出一个称为基础矩阵的东西，通过它可以建立两幅图像的点到 直线的对应关系，基础矩阵包含了相机参数还有两个相机镜头的相对位置关系，通过它可以建立射影意义下的重构，当然我们更关心的是欧几里得空间下的重构。

      第3个问题跟上面的讨论密切相关，我们至少应该知道全景图这个东西，我们希望把多幅有重叠部分的图像合成在一起形成更广阔的视野，所以关键的技术在于怎么 把相同的部分匹配并且融合到一起，通过SIFT算法可以自动找到匹配点，如果使用透视投影把它们连接在一起，那么把单映矩阵计算出来就可以了，但这样的融 合似乎不太完美，于是有人想到把图像投影到圆柱或者球面上再进行连接，这样效果会更好，事实也证明了这点。要进行柱面或球面投影，需要知道各个相机的参数 （所谓的内参）还有位置角度（所谓的外参），这些正是前面讨论过的。