TruNet: Short Videos Generation from Long Videos via Story-Preserving Truncation ICCV.2019阅读总结

TruNet: Short Videos Generation from Long Videos via Story-Preserving Truncation ICCV.2019

TruNet: Short Videos Generation from Long Videos via Story-Preserving Truncation ICCV.2019

论文链接：https://arxiv.org/pdf/1910.05899v1.pdf
出处：百度

数据集

TruNet

工作阐述

开发和训练了一种用于视频截断的神经体系结构，该体系结构包含两个部分：边界感知网络（BAN）和快速转发长期短期记忆（FF-LSTM）。我们首先使用BAN通过共同考虑帧级别的吸引力和边界性来生成高质量的时间建议。然后，我们使用FF-LSTM（倾向于捕获一系列帧之间的高阶依存关系）来确定时间建议是否是连贯且完整的故事。

框架图

我的想法

想法1

运用视频动作识别技术，基于对视频的前后帧信息、光流运动信息分析、场景内容信息识别等分析，检测和识别视频中的每一帧是否发生某一动作，对检测到此动作的时间点做标注。

想法2

运用一个cnn网络，做几个行为的分类器，检测到某一行为时进行标注。