IJCV2024 |陀螺仪引导的无监督深度单应性和光流学习：GyroFlow+

陀螺仪引导的无监督深度单应性和光流学习：GyroFlow+

Haipeng Li；Kunming Luo；Bing Zeng；Shuaicheng Liu
代码：https://github.com/lhaippp/GyroFlowPlus

---

摘要

现有的单应性和光流方法在具有挑战性的场景中存在误差，例如雾、雨、夜晚和雪，因为它们的基本假设，如亮度和梯度的恒定性被打破。为了解决这个问题，我们提出了一种无监督学习方法，将陀螺仪融合到单应性和光流学习中。具体来说，我们先将陀螺仪读数转换为运动场，称为陀螺场。其次，我们设计了一个自引导融合模块（SGF），以将从陀螺场提取的背景运动与光流融合，并引导网络专注于运动细节。同时，我们提出了一个单应性解码器模块（HD），以结合陀螺场和SGF的中间结果来产生单应性。据我们所知，这是首个深度学习框架，它融合了陀螺仪数据和图像内容，用于深度单应性和光流学习。为了验证我们的方法，我们提出了一个新的数据集，涵盖了常规和具有挑战性的场景。实验表明，我们的方法在常规和具有挑战性的场景中都优于现有