Spline Fusion: A continuous-time representation for visual-inertial fusion with application to...

[1] Lovegrove S, Patron-Perez A, Sibley G. Spline Fusion: A continuous-time representation for visual-inertial fusion with application to rolling shutter cameras[J]. Bulletin of Mathematical Biology, 2013, 74(8):1764.

 

样条融合：一种应用于卷帘快门相机的视觉-惯性融合连续时间表示方法

本文介绍了一种利用卷帘式CMOS相机和MEMS IMUs等传感器进行SLAM和视觉惯性标定的方法。利用相机轨迹的连续时间模型，融合来自其它不同步的高速率传感器的信息，同时限制状态大小。对相机的卷帘快门进行建模，并能在惯性测量中产生误差。该模型不局限于视觉惯性SLAM，还可以简化其他传感器的集成，如旋转SICK激光雷达。

我们的方法的核心是一个连续的轨迹表示，类似于在[2]中提出的。我们选择了一个提供

• 本地控制，允许系统在线和批量运行。
• C2的连续性，使我们能够预测IMU的测量值。
• 一个很好的近似最小扭矩轨迹

三维B样条曲线是一种著名的三维空间轨迹表示方法，但在处理三维旋转时，如SO3中的插值，就不那么容易应用了。例如，C2的连续性不一定保留[3]。我们选择使用李代数形成的累积基函数参数化连续轨迹，与[1]中提出的方法等价。利用累积B样条基函数，是在计算机动画的背景下首次提出[4]的，用于四元数插值的方法。这种表示不仅是C2连续的，而且它还提供了一个非常简单的二阶导数公式。

累积B样条曲线参数化允许在样条曲线上的任意一点计算解析时间导数。可以很容易地合成加速度计和陀螺仪的测量值，反过来可以利用它们对观测到的测量值形成直接误差。

连续时间框架的另一个优点是处理卷帘快门相机。虽然卷帘快门相机的射影几何形状与全局快门相机相同，但图像的每一行都是在不同的时间内曝光的，每一行都比上一行延迟得更久。当相机在运动时，这可能导致图像出现扭曲和倾斜(图2a)。使用相机运动的连续时间模型，将图像的每一行看作是单独曝光的，如图1所示。

图1 卷帘快门相机很容易与连续时间SLAM建模。在像素点 pi处观察到的地标用逆深度ρi、和测量时间ti来表示。
每条扫描线实际上是一个推扫式相机(左)；这种扫描线相机的测量会随着时间的推移而被捕获，这就定义了实际传感器返回的图像(右图)。

图2 模拟单目卷帘快门实验结果。
(a)仍然从模拟序列显示大卷帘门翘曲。(b)在模拟(蓝色)和非模拟(绿色)卷帘快门时，地面真实轨迹(红色)与估计轨迹的比较。

给出了视觉和惯性数据的生成模型，通过最小化观测值与预测值之间的差值所形成的目标函数，我们可以批量或跨窗口求解样条曲线和相机参数。利用连续时间公式，可以对重投影误差和惯性误差进行均匀处理，并根据设备规格或校准计算出它们各自的信息矩阵进行加权。

我们进行了仿真和实际数据的实验，以评估我们灵活的连续时间方法。我们在一个模拟的单目卷帘快门数据集(图2)上展示了滑窗视觉里程计结果，然后在视觉惯性联合SLAM和自校准的真实数据上展示了我们的系统(图3)。

图3 为full-SLAM和自校准计算的示例估计，包括camera-to-IMU、IMU偏置、重力向量、相机内参(带失真)、3D地标位置和传感器轨迹。
同样，这些图中的结构和比例是在事先不了解场景的情况下精确估计的。这是我们的第一个实验分析，完整而鲁棒的前端特征跟踪尚未完成，网格只是用来简化数据关联。在这种情况下仍然完成了full-SLAM和视觉惯性自校准的评估和演示。