2020-07-16 CVPR2020 V&L论文讨论（5） 笔记

[1] SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions

• oral
• motivation：模型答对了问题，但是可能并没有理解图像，这体现在对问题的回答存在不一致性（eg：图中香蕉是什么颜色的？绿色。这个香蕉熟了吗？熟了。）。
• method：本文提出一个数据集，将VQA任务中的问题分为两类：Reasoning、Perception。其中，Perception类问题是Reasoning类问题的子问题（前提）。

[2] Iterative Answer Prediction with Pointer-Augmented Multimodal Transformers for Text VQA

• oral，出自UCB + FaceBook
• motivation：传统方法使用pairwise机制（对每两种模态进行融合、以此类推），且预测时使用分类方法，无法生成多个单词的答案。
• method：多模态Transformer，多步指针增强decoder。
• 训练时：teacher forcing，给定真值，预测下一个值。

[3] Syntax-Aware Action Targeting for Video Captioning

• poster，出自陶大程老师的小组
• motivation：video captioning应更注重action（interaction）
• method：语法感知模块 + 动作引导Captioner

[4] Modality Shifting Attention Network for Multi-modal Video Question Answering

• poster
• task：视频带有字幕，回答问题需要同时参考视频和字幕。可以分割为两个sub-task：①. video grounding；②. VQA。
• challenge：①. 找出所有异质模态中有利于回答这个问题的关键时刻；②. 基于异质模态进行问答；
• method：给我的感觉，和video grounding、VQA中的方法差不多。

[5] Graph-Structured Referring Expression Reasoning in The Wild

• oral
• 参考链接

[6] Say As You Wish: Fine-grained Control of Image Caption Generation with Abstract Scene Graphs

• oral
• 参考链接

总结

• [2] 在V&L中使用了Transformer，但是使用方法有些简单，感觉没有发挥出Transformer的优势。
• [1][5][6] 三篇文章分别针对VQA、RE、ImageCaptioning三个任务，提出了具有推理能力的方法。[1]从sub-question的一致性出发，将question分为两类，并提出了特定数据集。[5]中考虑referring expression的语言结构，作为reasoing的order。[6]提出了抽象场景图的概念，并适用抽象场景图作为reasoning的order（当然，这篇文章的重点在于抽象场景图带来的细粒度可控性）。由此可见，进行reasoning的形式和方法有很多，应多思考。