哈工大SCIR | 场景图生成简述

原创作者:梁家锋 郑子豪 王禹鑫 孙一恒 刘铭 

出处:哈工大SCIR

进NLP群—>加入NLP交流群

1 引言

      场景图是一种结构表示,它将图片中的对象表示为节点,并将它们的关系表示为边。最近,场景图已成功应用于不同的视觉任务,例如图像检索[3]、目标检测、语义分割、图像合成[4]和高级视觉-语言任务(如图像字幕[1]或视觉问答[2]等)。它是一种具有丰富信息量的整体场景理解方法,可以连接视觉和自然语言领域之间巨大差距的桥梁。

      虽然从单个图像生成场景图(静态场景图生成)取得了很大进展,但从视频生成场景图(动态场景图生成)的任务是新的且更具挑战性。最流行的静态场景图生成方法是建立在对象检测器之上的,然后推断它们的关系类型以及它们的对象类。然而,物体在视频序列的每一帧中不一定是一致的,任意两个物体之间的关系可能会因为它们的运动而变化,具有动态的特点。在这种情况下,时间依赖性发挥了作用,因此,静态场景图生成方法不能直接应用于动态场景图生成,这在[5]中进行了充分讨论。

哈工大SCIR | 场景图生成简述_第1张图片

 图1. 场景图分类 

2 静态场景图

2.1 任务定义

      静态场景图生成任务(Static scene graph generation)目标是让计算机自动生成一种语义化的图结构(称为 scene graph,场景图),作为图像的表示。图像中的目标对应 graph node,目标间的关系对应 graph edge(目标的各种属性,如颜色,有时会在图中表示)。

      这种结构化表示方法相对于向量表示更加直观,可以看作是小型知识图谱,因此可以广泛应用于知识管理、推理、检索、推荐等。此外,该表示方法是模态无关的,自然语言、视频、语音等数据同样可以表示成类似结构,因此对于融合多模态信息很有潜力。

哈工大SCIR | 场景图生成简述_第2张图片

图2静态场景图生成任务图例

2.2 数据集

      Visual Genome(VG)[6]于2016年提出,是这个领域最常用的数据集,包含对超过 10W 张图片的目标、属性、关系、自然语言描述、视觉问答等的标注。与此任务相关的数据总结如下:

    • 物体:表示为场景图中节点,使用bounding box标注物体的坐标信息,包含对应的类别信息。VG包含约17000种目标。

    • 关系:表示为场景图中边,包含动作关系,空间关系,从属关系和动词等。VG中包含约13000种关系。

    • 属性:可以是颜色,状态等。Visual Genome 包含约 155000 种属性。

2.3 方法分类

      方法分类如下:

    • P(O,B,R | I) = P(O,B | I) * P(R| I,O,B),即先目标检测,再进行关系预测(有一个专门研究该子任务的领域,称为研究视觉关系识别,visual relationship detection)。最简单的方法是下文中基于统计频率的 baseline 方法,另外做视觉关系检测任务的大多数工作都可以应用到这里。

    • P(O,B,R | I) = P(B | I) * P(R,O| I,O,B),即先定位目标,然后将一张图片中所有的目标和关系看作一个未标记的图结构,再分别对节点和边进行类别预测。这种做法考虑到了一张图片中的各元素互为上下文,为彼此分类提供辅助信息。事实上,自此类方法提出之后[7],才正式有了 scene graph generation 这个新任务名称(之前基本都称为visual relationship detection)。

2.4 评价指标

      最常用的评价指标是 recall@top k, 即主谓宾关系三元组 在选取前 k 个最可信预测结果的召回率。三元组的confidence score一般采用 score(subject) * score(object) * score(predicate) 。如果在排序时,一对目标只选取最可信的那组关系来排序,则称之为 constrained scene graph generation;如果一对目标所有的关系三元组都参与排序,即一组目标可能预测多个关系,则称之为 unconstrained scene graph generation。这两种方式分别对应两种 recall 指标。

3 动态场景图

3.1 任务定义

      动态场景图与静态场景图不同,动态场景图以视频作为输入,输出分为两种情况:输出每一帧对应的场景图(帧级别场景图);输出每一段视频对应的场景图(片段级别场景图)。这种结构化的表示可以表征实体之间随时间变化的动作及状态。

哈工大SCIR | 场景图生成简述_第3张图片

图3静态/动态场景图区别示例

3.2 帧级别

3.2.1 数据集

      Action Genome该数据集是Visual Genome表示的带时间版本,然而,Visual Genome的目的是详尽的捕捉图中每一个区域的物体和关系,而Action Genome的目标是将动作分解,专注于对那些动作发生的视频片段进行标注,并且只标注动作涉及的对象。Action Genome基于Charades进行标注,该数据集包含157类别动作,144个是人类-物体活动。在Charades中,有很多动作可以同时发生。共有234253个frame,476229个bounding box,35个对象类别,1715568个关系,25个关系类别。

3.2.2 方法

       Spatial-temporal Transformer(STTran)[8]:一种由两个核心模块组成的神经网络:一个空间编码器,它采用输入帧来提取空间上下文并推断帧内的视觉关系,以及一个时间解码器它将空间编码器的输出作为输入,以捕获帧之间的时间依赖性并推断动态关系。此外,STTran 可以灵活地将不同长度的视频作为输入而无需剪辑,这对于长视频尤为重要。

哈工大SCIR | 场景图生成简述_第4张图片

图4STTrans模型结构

3.2.3 主实验结果

哈工大SCIR | 场景图生成简述_第5张图片

图5STTrans模型实验结果

3.2.4 样例测试

哈工大SCIR | 场景图生成简述_第6张图片

图6. 样例

3.3 片段级别

3.3.1 数据集

       VidVRD提出了一个新颖的VidVRD任务,旨在探索视频中物体之间的各种关系,它提供了一个比ImgVRD更可行的VRD任务,通过目标轨迹建议、关系预测和贪婪关系关联来检测视频中的视觉关系,包含1000个带有手动标记的视觉关系的视频,被分解为30帧的片段,其中由15帧重叠,再进行谓词标记。30类+(人、球、沙发、滑板、飞盘)=35类(独立,没有对象之间的包含关系),14个及物动词、3个比较词、11个空间谓词,11个不及物动词,能够衍生160类谓词。

3.3.2 方法

       VidSGG提出了一个新的框架,在此框架下,将视频场景图重新表述为时间二分图,其中实体和谓词是两类具有时隙的节点,边表示这些节点之间的不同语义角色。

哈工大SCIR | 场景图生成简述_第7张图片

图7VidVRD任务示例

哈工大SCIR | 场景图生成简述_第8张图片

图8BIG-C模型结构

3.3.3 主实验结果

哈工大SCIR | 场景图生成简述_第9张图片

图9. BIG-C模型实验结果

3.3.4 样例测试

哈工大SCIR | 场景图生成简述_第10张图片

10. 对话情绪识别示例

参考文献

[1] Lizhao Gao, Bo Wang, and Wenmin Wang. Image captioning with scene-graph based semantic concepts. In Proceedings of the 2018 10th International Conference on Machine Learning and Computing, pages 225–229, 2018.

[2] Justin Johnson, Bharath Hariharan, Laurens Van Der Maaten, Judy Hoffman, Li Fei-Fei, C Lawrence Zitnick, and Ross Girshick. Inferring and executing programs for visual reasoning. In Proceedings of the IEEE International Conference on Computer Vision, pages 2989–2998, 2017.

[3] Justin Johnson, Ranjay Krishna, Michael Stark, Li-Jia Li, David Shamma, Michael Bernstein, and Li Fei-Fei. Image retrieval using scene graphs. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3668–3678, 2015.

[4] Oron Ashual and Lior Wolf. Specifying object attributes and relations in interactive scene generation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 4561–4569, 2019.

[5] Jingwei Ji, Ranjay Krishna, Li Fei-Fei, and Juan Carlos Niebles. Action genome: Actions as compositions of spatiotemporal scene graphs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10236–10247, 2020.

[6] R. Krishna, Y. Zhu, O. Groth, J. Johnson, K. Hata, J. Kravitz, S. Chen, Y. Kalantidis, L.-J. Li, D. A. Shamma et al., “Visual genome: Connecting language and vision using crowdsourced dense image annotations,” International Journal of Computer, pages 32–73, 2017.

[7] Xu D, Zhu Y, Choy C B, et al. Scene graph generation by iterative message passing[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. pages 5410-5419, 2017

[8] Cong Y, Liao W, Ackermann H, et al. Spatial-temporal transformer for dynamic scene graph generation[C]//Proceedings of the IEEE/CVF international conference on computer vision. pages 16372-16382, 2021.

[9] Gao K, Chen L, Niu Y, et al. Classification-then-grounding: Reformulating video scene graphs as temporal bipartite graphs[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pages19497-19506, 2022.

本期责任编辑:刘   铭

本期编辑:孙洲浩


进NLP群—>加入NLP交流群

你可能感兴趣的:(人工智能,计算机视觉,知识图谱)