双目视觉的运动目标跟踪定位及抓取系统研究+1101

2、双目视觉系统
3、目标角点检测算法（Harris、FAST、SIFT等角点检测算法）
5、SCARA四自由度机械臂运动学分析、Matlab中Robotics Toolbox

second

双目立体视觉系统：双目立体相机标定、立体匹配算法、特征提取算法
双目视觉系统的第一步就是对其进行标定，即获取摄像机的内外参数。通过已知世界坐标系（标定板）和图像坐标系（对标定板图像处理后结果）之间的对应关系，计算出双目摄像机在当前位置下的相关参数，而后期物体的定位精度会直接受标定精度结果的影响。
针孔模型

0
d 和yd 分别代表像素在图像平面 x 和 y 方向上的物理尺寸

从世界坐标系到摄像机坐标系的转换关系

从摄像机到图像物理坐标系的转换

摄像机外参

只与摄像机和世界坐标系的相对位置有关

w为世界坐标系下的坐标
Zci在摄像机坐标系下的坐标
mij为为摄像机的参数矩阵



双目视觉系统测距的原理就算基于视差，已知两个摄像机之间的位置关系，便可以获得P点的三维坐标


对于两个摄像机，得到两条三维空间的直线坐标

2.4透视模型的线性标定方法进行摄像机的标定+all 18个点，在三个标定位各取6个标定点
3、角点检测算法
Harris 算法是通过计算各个方向像素的梯度来确定角点，SIFT 是通过计算二阶偏导来确定，FAST 角点检测算法只是使用比较大小的方法确定角点
角点匹配过程中采用基于欧式距离度量对所有可能的匹配点计算特征相似性，满足最短距离即为匹配点

光流法、帧差法和背景差分法
光流法：将摄像机拍摄到的序列图像中的每个像素和速度关联起来，进而分割出目标运动区域
4、
帧间差分法：
为了从视频图像序列第 k 帧图像中检测出运动目标，将第 k 帧图像中每个像素的灰度值与第 k-1帧图像中所对应位置的像素灰度值作差分运算，阈值的选定是依据图像的灰度直方图信息，差分图像中像素灰度值大于阈值的被当作运动目标像素，视其它的部分为背景像素，则可得图像中运动目标的形状、大小和位置等信息。

采用阈值处理得到的二值化前景图像

帧间差分法的优势是无需预先设定背景，计算量小，且对场景光线变化不敏感，但美中不足的是目标轮廓不能完全的检测出，易出现“空洞”，算法效果严重依赖所选取的分割阈值和帧间时间。
背景差分法：
选取静态背景拍摄的多张不含任何前景的图像作背景模型，用后续摄像机拍摄到的实时帧图像与该背景模型作差分运算，并用图像的灰度直方图信息来设定阈值，差分图像中像素灰度值大于阈值的部分被认为是运动目标，其余部分则是背景，则能得到图像中目标的形状、大小和位置等信息。

背景差分法的优点是计算量小且易实现，可快速提取出目标的完整信息。缺点是需事先设定好完整的背景图像，但在实际应用中，往往会受到如光照变化、相机抖动等无法避免的干扰性因素影响，使背景模型的建立较为困难。
目前常见的背景建模型方法有定期更新背景法和统计平均法等。
统计平均法是利用先前采集到的帧图像创建动态的背景模型
N 幅图像积累生成的平均背景模型过程

第i帧图像是Pi ，第 m+N 帧的平均背景模型是B（m+N）。
虽然统计平均法计算简单，能够随时间的推移创建动态的背景模型，以适应背景变化；当 N 值越大时，占用的内存也就越多。
定期更新背景法不需像统计平均法那样积累先前帧图像，仅需当前帧图像和前一时刻帧图像。