【深蓝学院】手写VIO第9章--课程总结--笔记

0. 内容

1. 课程回顾

最大后验概率MAP，如果不知道先验则是MLE，如果观测服从高斯分布（关于为什么服从高斯分布有个pdf）则可转化为LSP。

残差构建主要讲了IMU残差的构建，包括预积分模型，误差模型（详见第3章笔记），预积分的误差推导有：一阶泰勒展开（优化常用）和误差的一阶导数（Filter常用）两种方法。

构建出残差，计算出了协方差矩阵，就可以进行信息融合了（如果融合其他类型的传感器也是如此：gps，chassis，uwb等，观测和预测构建残差，计算出测量的协防差矩阵作为权重，加到残差项中对整个系统进行优化，就实现了对一个sensor information fusion）

1. Dogleg算法相对于LM算法求解更快，迭代次数更少，原因是它迭代失败次数更少，不会出现LM中cost function上升而拒绝本次迭代的case。

2. Shur Complement在Sliding window中的marg过程中用到，
   鲁棒核函数用于抑制outlier，赋予inlier和outlier不同的权重。

2. VIO拓展

主要推荐一些论文，供后续进一步深入研究。

2.1 VIO综述

主要是黄国强和Muzza（木吒，uzh）组的工作。

• 2019年黄国强的综述很值得一读。
• 2018对VIO的各种方法进行了对比，但是精度对比有待商榷，比如没有拿到MSCKF的源码，可能精度没有那么高
• EVO论文（之前Ch7作业中将预测和GT进行align评估时使用的就是这个工具，当时挖了个坑，这里可以填上）
  木吒组的工作非常扎实和细致，建议follow

2.2 Filter based VIO

• 最经典的还是MSCKF（2007年的，但是没开源）
• 2018的stereo MSCKF
• 2014li mingyang大神（博士论文）对MSCKF的各种改进和完善（MSCKF加入可观性约束，时间，标定，IMU内参标定等）

2.3 optimization based VIO

• OKVIS最早的VIO系统，支持单目，双目，开源。
• 2016年这篇是从李代数出发对IMU与积分进行详细的推导（课程中主要是以四元数进行推导，非常详细），wangjin大佬在开始复现这篇论文时还发现了论文中的一些错误，将复现代码开源在Github上：learnVIORB
• VINS-MONO已经进行相关推荐

2.4 VIO一致性

• 2008年huang guoquan FEJ论文（Ch4第4节提及），这篇解决了在优化过程中Jacobian线性化点的不同而导致的可观性矩阵的解的零空间发生变化的问题（被marg掉的点，后面关于此点的Jacobian在求取的时候，其线性化点就不能再改变，如果改变就会导致可观性退化的问题），解决思路是固定线性化点。
• 2011对上述工作进行了改进，改为可观性约束，后面的关于MSCKF的开源的代码中使用的都是这个约束（上面的ref 4,6）。
• 2015年不变性的论文非常本质，不是从工程方面出发，指出系统的不确定性应该与Jacobian无关（有关于不变形代码推导的matlab的代码），网上也有关于优化的不变性的代码，可以搜
• 2017张腾（腾神？）不变性EKF的分析，比如用在BA中，用在VIO中，2018年开始有很多实验室开始做关于不变性的相关工作，invariant-EKF，invariant-optimization等工作

2.5 利用img构建不同的残差模型

• 2016（高博读博的组，TUM）主要基于DSO和LSD SLAM做的一套
• 2018针对点线面特征的分析（如果点特征够用的话，线面特征对于性能的提升不会很大）
• 2017年MSCKF组（不需要角点这么强的约束，有梯度变化的地方就能形成边缘（曲线））此工作（没开源）跟上海交大zhouzhangmin老师的structure SLAM里的直线的参数化方式非常接近
• 2017 （之前的REVO中了ICCV），将点的重投影误差变成线的
• 2018将上面的工作加入了IMU投了期刊

关于点线面等不同的特征的方法，在17-19年有很多关于这方面的工作，最主要的是如何构建残差。

2.6 VIO和其他传感器融合

• 2019(huangguoqiang组的交换生)，在有激光先验地图的基础上进行VIO（精度更高）
• 2018Qintong对VINS-MONO的扩展版，能融合GPS，但木，双目等信息
• 2017做机器人的话值得一读，VIO+chassis的系统，也增加了平面约束（机器人在平面上做匀速直线运动时为什么IMU提供的尺度信息没用了？速度的导数为0？）
• 2019年（港中文liuyunfei组，做AGV的），应该有平面假设，叫SE(2)-XYZ约束（一种参数化方式），虽然不是VIO系统，但值得一读。

2.7 初始化相关论文在Ch7已经有所推荐

https://blog.csdn.net/qq_37746927/article/details/133782580#t9

2.8 参考文献

1. Guoquan Huang. “Visual-inertial navigation: A concise review”. In: arXiv preprint arXiv:1906.02650 (2019).
2. Jeffrey Delmerico and Davide Scaramuzza. “A benchmark comparison of monocular visual-inertial odometry algorithms for flying robots”. In: 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE. 2018, pp. 2502–2509.
3. Zichao Zhang and Davide Scaramuzza. “A tutorial on quantitative trajectory evaluation for visual (-inertial) odometry”. In: 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2018, pp. 7244–7251.
4. Michael Bloesch et al. “Iterated extended Kalman filter based visual-inertial odometry using direct photometric feedback”. In: The International Journal of Robotics Research 36.10 (2017), pp. 1053–1072.
5. Anastasios I Mourikis and Stergios I Roumeliotis. “A multi-state constraint Kalman filter for vision-aided inertial navigation”. In: Proceedings 2007 IEEE International Conference on Robotics and Automation. IEEE. 2007, pp. 3565–3572.
6. Ke Sun et al. “Robust stereo visual inertial odometry for fast autonomous flight”. In: IEEE Robotics and Automation Letters 3.2 (2018), pp. 965–972.
7. Mingyang Li. “Visual-inertial odometry on resource-constrained systems”. PhD thesis. UC Riverside, 2014.
8. Stefan Leutenegger et al. “Keyframe-based visual–inertial odometry using nonlinear optimization”. In: The International Journal of Robotics Research 34.3 (2015), pp. 314–334.
9. Christian Forster et al. “On-Manifold Preintegration for Real-Time Visual–Inertial Odometry”. In: IEEE Transactions on Robotics 33.1 (2016), pp. 1–21.
10. Guoquan P Huang, Anastasios I Mourikis, and Stergios I Roumeliotis. “Analysis and improvement of the consistency of extended Kalman filter based SLAM”. In: 2008 IEEE International Conference on Robotics and Automation. IEEE. 2008,pp. 473–479.
11. Guoquan P Huang, Anastasios I Mourikis, and Stergios I Roumeliotis. “An observability-constrained sliding window filter for SLAM”. In: 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE. 2011, pp. 65–72.
12. Axel Barrau and Silvere Bonnabel. “An EKF-SLAM algorithm with consistency properties”. In: arXiv preprint arXiv:1510.06263 (2015).
13. Kanzhi Wu et al. “An invariant-EKF VINS algorithm for improving consistency”. In: 2017 IEEE/RSJ International
    Conference on Intelligent Robots and Systems (IROS). IEEE. 2017, pp. 1578–1585.
14. Vladyslav Usenko et al. “Direct visual-inertial odometry with stereo cameras”. In: 2016 IEEE International Conference on Robotics and Automation (ICRA). IEEE. 2016, pp. 1885–1892.
15. Yulin Yang and Guoquan Huang. “Observability Analysis of Aided INS with Heterogeneous Features of Points, Lines and Planes”. In: IEEE Transactions on Robotics (Aug. 2019).
16. Hongsheng Yu and Anastasios I Mourikis. “Edge-based visual-inertial odometry”. In: 2017 IEEE/RSJ International
    Conference on Intelligent Robots and Systems (IROS). IEEE. 2017, pp. 6670–6677.
17. Juan José Tarrio and Sol Pedre. “Realtime edge based visual inertial odometry for MAV teleoperation in indoor environments”. In: Journal of Intelligent & Robotic Systems 90.1-2 (2018), pp. 235–252.
18. Xingxing Zuo et al. “Visual-Inertial Localization with Prior LiDAR Map Constraints”. In: IEEE Robotics and Automation Letters (RA-L) (July 2019).
19. Tong Qin et al. “A General Optimization-based Framework for Global Pose Estimation with Multiple Sensors”. In: arXiv preprint arXiv:1901.03642 (2019).
20. Kejian J Wu et al. “Vins on wheels”. In: 2017 IEEE International Conference on Robotics and Automation (ICRA). IEEE. 2017, pp. 5155–5162.
21. Fan Zheng and Yun-Hui Liu. “Visual-Odometric Localization and Mapping for Ground Vehicles Using SE(2)-XYZ Constraints”. In: Proc. IEEE Int. Conf. Robot. Autom (ICRA). 2019.

---

至此VIO课程的整体已经结束，后面有课程大作业和一次关于近期的Square Root BA的论文的复现工作，大家继续加油，一起推动SLAM领域的发展。