zynq FPGA 的双目视觉毕业设计（六）之硕士论文学习总结

简述

毕业设计做极线矫正做得差不多了，才开始总结论文，这是因为硕士论文没有详细论述这部分，基本靠看其他博客完成，当然也看了几篇关于图像畸变矫正的，但是由于大佬总结得太好了，我就没必要在花时间总结了。由于zynq板卡不小心弄坏了，在售后，没法继续做算法得移植，所以我现在继续做双目图像立体匹配算法的研究。今天总结下硕士论文。

正文

1）立体匹配算法的基本结构

说明：这里输入的是极线矫正完的图像。
匹配代价计算：衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。

• 代价计算的函数有：代价灰度差的绝对值和（SAD）、灰度差的平方和（SSD）、归一化互相（NCC）以及 Census 变换等；
• 论文选用的函数：非参数图像变换（Census）。

代价聚合：针对单个像素的代价信息并不能准确的来计算视差值，因此代价聚合的目的就是最小化匹配不确定性，减小误匹配率。基本原理是以目标像素附近的像素（形成窗口）进行匹配。

• 几种聚合窗口：多窗口（Multiple Windows）、自适应窗口（Adaptive Windows）以及自适
  应权重的窗口方法（Adaptive Support Windows）等。

视差选择：采用优胜劣汰（WTA）的策略的方式得到最优的视差值。

视差优化：对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误视差、适当平滑以及子像素精度优化等步骤，一般采用左右一致性检查（Left-Right Check）算法剔除因为遮挡和噪声而导致的错误视差；采用剔除小连通区域算法来剔除孤立异常点；采用中值滤波（Median Filter）、双边滤波（Bilateral Filter）等平滑算法对视差图进行平滑

2）半全局立体匹配算法的硬件实现

算法主要包含相似度算子选择、代价计算、代价聚合、视差选择、左右校验以及中值滤波等六部分

（1）Census 变换

基本原理如下图，将中心的像素值与其周围的像素值进行比较，大于的为0，小于为1，得到矢量。然后将左右图像的矢量进行异或得到汉明距离。得到汉明距离中1的数量最少说明这个两个像素相似度越高，是一对像素

（2）路径聚合

采用 4 个方向的半全局匹配算法，每个方向得到最小值， 最后将四个方向不同的代价值取平均值。

（3）左右一致性校验

同时获取以左为参考图以及以右视图为参考图来获取的 2 个视差图进行校验，这个会浪费很大资源，我的ZYNQ 7020 估计资源不够用，而且降低下难度，所以我舍弃这个步骤，只以右为参考图生成视差图。

（4）中值滤波

为了滤除条纹和噪声，采用中值滤波消除异常的视差值。

（5）最后他的效果

总结

研究这篇论文，这篇论文是众多里写的最好的，很多地方明白了，但是对路径聚合还是有点迷，后面再看看其他资料再修改补充。下一步由于板卡还没到，所以只有使用matlab做双目立体匹配的算法仿真了。
硕士论文链接：基于FPGA的实时双目立体视觉系统的设计与实现 商海洋 哈尔滨工业大学

欢迎关注我的公众号：芯王国，有更多的FPGA&数字IC的技术分享，还可以获取开源FPGA项目！