人大赵鑫：基于图神经网络，建模知识图谱

报告 | 赵   鑫

撰文 | 熊宇轩

我这里主要给大家介绍一下利用图神经网络能做一些什么事情，这里面主要关注知识图谱的建模与应用。

在本次报告中，我们将从三个方面介绍基于图神经网络的知识建模与应用：

（1）知识图谱简介；

（2）知识信息的利用；

（3）知识信息的融合。

01

知识图谱

最经典知识图谱表示形式为3/N 元组，即<头实体，关系，尾实体>，我们可以将其视为是一个边上有类型标签的图。

下图列举了一些目前常用的知识图谱的规模，例如：wordnet、YAGO、DBpedia、Freebase。

知识图谱示例（arxiv.org/abs/2002.00388）

知识图谱本身是一种离散的图数据，可能并不适合于深度学习/表示学习。为了将知识图谱用于深度学习任务，我们首先需要进行低维的向量化表示。其中 TransE 是一种经典的知识图谱表示方法，即「头实体+关系向量」应该与尾实体的向量尽可能接近。此外，我们可以把知识图谱三元组的关系看成一种语义匹配，即头实体和尾实体在某种关系上的相似度很高。

随着图神经网络的出现，许多研究者试图设计图神经网络对关系图进行编码。由于知识图谱也是一种关系图，因此该领域的工作自然地扩展到了对知识图谱的编码上。

对于无关系图，图神经网络会将某节点的信息传播出去，并聚合各邻居节点的信息，形成新的节点表示。对于有关系图，以 RGCN 为例，相较于普通的 GCN，聚合邻居节点的信息时需要区分不同的关系，每一次传播时的信息都来自与当前节点具有各种不同的关系的邻居节点。此外，我们需要赋予不同消息来源不同的权重矩阵。

02

知识图谱的应用场景

1

知识驱动的解离表示推荐算法

首先，我们可以将知识图谱用于设计推荐算法。

给定用户和物品，用户对物品的购买行为形成了一个二部图，我们可以通过 GNN 对该行为进行建模。

我们没有直接使用原始的GNN，而是使用更适合可解释推荐的解离 GCN（DGCN）(Ma et al., ICML 2019)。在该工作中，不再使用单一的表征来描述每一个节点，试图从结构中挖掘出多个维度的隐含知识。

知识驱动的解离表示推荐算法*

* https://icml.cc/media/Slides/icml/2019/102(12-16-00)-12-16-35-4503-disentangled_gr.pdf

比如上图所示，我们用不同的颜色表示对红圈内的节点 U 在不同维度上的表征。具体而言，我们对节点 U 的邻居节点进行类似于聚类的操作，从而得到节点 U 和每个簇之间的联系。反过来，我们也可以学习到节点 U 对不同簇的表示。通过上述方式，我们可以得到对于某节点的 K 种表示，可以代表节点在 K 个维度（例如，价格、外观、品质等）上的偏好。

然而，直接对节点表征进行解离存在以下两点挑战：

（1）稀疏性：解离表征可能会导致参数增多，从而使对于每个解离维度的学习过程易受到数据稀疏的影响。

（2）可解释性：在上述无监督的解离表征学习过程中，数据的可解释性相对较差。解离出的每个维度的表征意义并不明确。

面对上述问题，我们希望利用结构化的信息辅助解离。

总体的算法流程

knowledge-guided disentangled representation learning for recommender systems

如图所示，我们试图用知识指导解离的 GCN，模型架构包含三个主要步骤：隐式解离、显式知识编码、显示隐式对齐。

首先，我们使用 DGCN 建模用户-物品交互图。在红色方框中，上面一排节点代表用户，下面一排节点代表物品，这一步显然没有去监督的过程。

对于同一个物品来说，它既能够与用户进行交互，同时也在知识图谱中有对应的实体节点。因此，我们也会显式地对知识图谱进行解离表征，从而获取与物品相关联的属性和类别的的特征，学习到结构化的表征。

接着，我们使用互信息最大化算法将隐式解离的表示与显式的知识解离表征进行对齐。

如图所示，上面一行有颜色的直方图代表引入知识解离节点表示后得到的实验结果。我们解离出来用户有很多的偏好，每一种颜色对应一种具体的偏好，具有较强的可解释性。下面一行黑白的直方图代表不没有知识引导的解离结果，我们并不能区分出每个维度的意义。我们在右侧的散点图中对引入知识前后的解离表征进行了对比，可以看出，引入知识之后的聚类划分更加清晰的更加清晰一些。

2

一致性增强的个性化文本生成

一致性增强的个性化文本生成

knowledge-based review generation by coherence enhanced text planning

对于评论生成而言，一旦我们需要在多句文本生成过程中考虑事实信息，就会大大提升任务的难度。如上图所示，当我们描述电影时，需要尊重事实，从而实现回复与内容的一致性。为此，我们首先需要生成回复的纲要（Schema），并以此为基础生成评论。在图中，绿色的回复一致性较好；而红色的多句回复之间缺乏良好的次序，一致性较差。

在绿色的回复内容中，首先会介绍电影的类别，然后介绍电影中的演员，存在较为明显的层次特性。因此，实现内容一致性需要对回复的结构进行良好的规划。然而，在训练语料不足的情况下，我们很难自动地学习到这种结构化信息。所以我们考虑引入知识信息帮助我们规划回复内容的纲要。

我们希望借助知识图谱中的结构化语义，生成句子的纲要，进一步生成句子中具体内容的纲要。要想实现内容一致性，我们必须对文本的结构进行很好的规划，确保每一句的内容对应相应的事实。

具体而言，我们试图生成多样化的纲要，并且利用频繁模式挖掘等手段，针对具体的文本生成任务向有待填充的部分填入具体的实体。在生成了句子的小结构后，我们向图中纳入了与实体评分共现的词，从而生成句子的纲要。

在这里我们使用 Graph transformer 对图进行编码，基于多头注意力机制，对给定的两个节点之间的关系路径进行了编码，从而很好地对句子进行规划。在生成了清晰并具有一定信息量的句子后，我们需要考虑如何合理地对句子内部的内容进行规划。

为此，我们就设计了一种文本规划模型，基于前一句已经生成的句子，来规划下一个句子内容的纲要。我们可以将每个句子的框架视为一个子图，并为其设计基于子图的编码器，令子图与子图之间进行交互，且子图内部的词之间也存在交互。

我们分析了真实评论中的各种纲要的分布。相较于对比基线，我们提出的方法的纲要的分布与标准答案的分布差距更小。

03

知识信息的融合

在实际应用场景下，我们往往会遇到需要综合利用多个知识图谱的情况。此外，有时我们也需要利用弱结构化的知识图谱，将其与结构化的知识图谱融合。

在会话式推荐任务（例如，天猫、京东的对话机器人）中，人可能会与对话机器人进行多轮的、细致的交流。该任务比简单的对话系统更加困难，我们要求系统不能仅仅与用户闲聊，系统需要显式地利用知识和用户对话中的信息，从而生成质量更高的回复。

以电影推荐为例，对话系统需要按照用户的要求，判断某部电影是否为恐怖片、是否有好的剧情。通常而言，用户的描述都是自然语言，而我们使用的知识资源往往是结构化的知识图谱。此时，我们需要打通蓝色文字代表的用户偏好的实体空间和红色文字代表的文本信息的词汇空间。

基本思路：同时引入词汇图谱、实体图谱，借助基于知识语义的融合，打通会话系统与推荐系统的壁垒。

Improving conversational recommender systems via knowledge graph based semantic fusion

为了实现上述目标，我们试图融合两个知识图谱：词汇语义空间的图谱和用户偏好的实体图谱。如图所示，绿色的部分代表词汇语义空间的图谱需要对词汇的上下位、互斥等关系构建为结构化的表示。蓝色的部分则代表电影的实体图谱。如果我们能够将这两个知识图谱融合起来，给定某部电影就可以产生推荐的词汇，而根据词汇信息也可以高效地推荐相应的电影。

首先，我们通过图神经网络对上述两个知识图谱进行编码。接着，我们利用互信息最大化技术实现两个语义空间的对齐，从而融合两个知识图谱。互信息最大化技术是互信息概念在神经网络优化领域的拓展。由于我们需要根据一些统计量计算互信息，而这些统计量又不易获得，因此我们需要通过神经网络对统计量进行近似的估计。

为了找到实体和词汇之间的关联，我们可以统计对实体进行描述的词汇，在电影聊天语料和电影评论中里面的共现程度，从而建立词和电影实体之间的关联，并利用这种关联学习出使互信息最大的函数。在学习出这种互信息最大化函数后，我们就能够打通这两个语义空间。给定一部电影，我们就知道该电影可能会关联哪些词。

给定一个用户发出的纯文本句子，我们可以给出精准地包含对应实体的回复。

如图所示，对于给定的人类回复，机器可以关注某些被激活的词语，并根据该词生成合适的推荐句子，给出合适的电影推荐结果。

利用非/弱结构化知识图谱

mining implicit entity preference from user-iterm interaction data for knowledge graph completion via adversation

 

有时，我们需要融合非结构化/弱结构化知识图谱中的信息。如上图 所示，我们可以使用知识图谱帮助在线的电影推荐系统做出预测。其中，知识图谱中的每个电影或演员都会和一些实体相联系。反过来，我们试图利用用户和电影之间的交互行为补全电影知识图谱。

基于用户行为数据的知识挖掘

我们设计了一个基于 GNN 的模型，它按照「用户-电影实体-电影属性-其它实体」的层次来组织实体。

首先，我们将把实体的信息压缩到用户上，收集用户对于实体的偏好，即使用实体或知识图谱得到用户的表示。

接着，我们反过来将就用户的所有信息反传回实体，将用户的实体偏好回传给关联的实体，从而推断出实体的性质。

我们设置了一系列模型系数，增强实体的表征，实现知识图谱的补全。

03

结语

在本次演讲中，我们介绍了如何利用基于知识图谱的结构化信息帮助我们完成一致性增强的文本生成、知识驱动的解离表示推荐等任务；此外，我们介绍了如何通过借助互信息最大化技术融合各个知识图谱的信息，并且利用对用户行为数据的知识挖掘补全知识图谱。

RecBole

我们最近发布了推荐系统工具“伯乐” （RecBole），它囊括了许多基于 GNN 的模型，是目前 PyTorch 环境下最全面的开源推荐系统（共包含 72 个模型），覆盖四大类任务，27 个公开数据集合，支持面向 GPU 的高效率优化。该工具涵盖了目前主流的评测设置。

---

欢迎加入智源社区「信息检索与挖掘」交流群

（更多活动信息将在交流群中同步）