《Multi-Label Zero-Shot Learning With Structured Knowledge Graphs》论文笔记

台湾国立大学、卡耐基梅隆大学

论文摘要

• 本文提出了一个对于multi-label
  zero-shot学习的深度学习框架，这个框架能够为每个输入的实例预测一到多个unseen class labels。
• 根据人类在objets of interests之间使用语义知识（semantic
  knowledge）的方法，提出了结合了知识图谱来描述不同labels之间的之间的关系。
    Our model learns an information propagation mechanism from the semantic label space, which can be applied to model the inter-dependencies between seen and unseen class labels.
• 模型学习了在语义标签空间中的信息传递机制。 这个机制可以用来对seen和unseen class
  labels之间的相互依赖关系来建模。
• 视觉推理问题使用了structured knowledge graphs，该模型可以应用于多标签分类和ML-ZSL任务。

introduction

• 多标签问题需要对一个instance关联>=1个标签，同时需要根据labels of interest共同出现的情况来探索标签之间的关联。
• 解决多标签问题的最简单的方法是binary relevance，将问题转化为多个不相关的二分类问题。这样缺乏了co-occurence的信息。等等方法。
  
• ML-ZSL需要预测在训练时没有定义的unseen labels。
• 传统的多标签方法（如binary relevance, label-prior based methods 缺乏拓展到unseen class labels的能力）；在语义空间中使用了label representation的方法可以更轻松的应对ML-ZSL问题（因为有unseen classes的label representation。而这个representation是人工标注的特征向量，表示了在特定领域或者通过word embeddings 在 linguistic resources中训练得到的 labels of interest）。
• 本文优化了ML-ZSL的结构化知识（knowledge graph）来获得在seen和unseen labels之间的依赖。
  
  如上图所示，知识图谱可以用来对co-occurring以及non-co-occuring进行建模，使用拓展的知识图谱并将知识拓展到unseen classes。
• 利用结构化的知识来解决多标签问题（其他方法）：论文《Large-scale object classification using label relation graphs》使用了图，但label之间是强制的关系。《Learning structured inference neural networks with label relations》使用了RNN来对不同的concept layers之间的正相关关系和负相关关系进行建模。论文《The more you know: Using knowledge graphs for image classification》根据graphs来对神经网络进行拓展，通过在知识图谱中的信息传递来学到一个可以对class label间的不同类型的关系进行推理的模型。
• 本模型中使用semantic vectors来表示labels，根据在语义空间中观察到的label关系来学习信息传递机制。The propagation of such label relation information后面用来修改每个类label的初始beliefs。传播完成可以进行多标签分类或ML-ZSL。
• 模型使用了WordNet，学到了要在语义空间中传播的label 表示和信息。

主要贡献：

1.第一个在ML-ZSL中使用知识图谱。
2.在语义空间进行label 传递，模型可以推理unseen labels。

（未完）