[arXiv16]Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking(...

代码地址:  http://guanghan.info/projects/ROLO/

                   https://github.com/kennyxu1979/ROLO

摘要：本文提出了一种新的方法进行空间监督 RCNN 来进行目标跟踪。我们通过深度神经网络来学习到  locations 的历史信息 和 具有判别性的视觉特征。收到最近的 bbox 回归技术的启发，本文研究了 LSTM 在时间领域的回归能力，可以连接高层视觉特征。跟现有的跟踪算法训练二分类器不同，我们在卷积层 和 recurrent unit 两个方面利用回归直接得到跟踪位置的预测。由于受到各种跟踪问题的挑战，许多 tracker 都是采用产生式或者判别式的方法来区分前景或者背景，也就是将跟踪看做是一个二分类问题。一个主要的缺点在于：严重依赖于手工设计的feature，无法结合物体的语义信息（semantic information），对于突然的形变并不具有鲁棒性。所以，随着深度学习的火爆，越来愈多的 tracker 开始采用深度feature。但是，在时序上的探索，几乎还没有。

关键动机是：tracking failures can often be effectively recovered by learning from historical visual semantic and tracking proposals.

算法流程：

tracker 的示意图，如下所示：

网络的训练分为三个阶段：

　　1.  卷积层的预训练，以提取 feature

　　2.  训练 YOLO 以产生 proposal

　　3.  训练 LSTM 进行跟踪

运行速度：

20fps/60fps for YOLO/LSTM respectively, with eight cores of 3.4GHz Intel Core i7-3770 and an NVIDIA TITAN X GPU。

评测结果：

参考文献：

[1] G. Ning, and Z. Zhang, Zhi andHuang, Chen and He, Zhihai and Ren, Xiaobo and Wang, Haohong. SpatiallySupervised Recurrent Convolutional Neural Networks for Visual Object Tracking.arXiv 2016.

(code:https://github.com/Guanghan/ROLO)