Explainable Reasoning over Knowledge Graphs for Recommendation

Explainable Reasoning over Knowledge Graphs for Recommendation

1. 摘要

近年来，将知识图结合到推荐系统中已引起越来越多的关注。通过探索知识图中的互连链接，可以将用户和项之间的连接发现为路径，从而为用户项交互提供丰富且互补的信息。这种连接不仅揭示了实体和关系的语义，而且有助于理解用户的兴趣。然而，现有的努力尚未充分探索用于推断用户偏好的这种连接性，尤其是在对路径内的顺序依赖性和整体语义进行建模方面。
我们开发了一个名为知识感知路径重复网络（KPRN）的新模型，以利用知识图表进行推荐。我们的新模型知识感知路径递归网络（KPRN）可以通过组合实体和关系的语义来生成路径表示。通过利用路径中的顺序依赖关系，我们允许在路径上进行有效推理，以推断用户项交互的基本原理。此外，我们设计了一种新的加权池操作，以区分用户与项目连接时不同路径的优势，赋予我们的模型一定的可解释性。我们对两个关于电影和音乐的数据集进行了大量实验，展示了对最先进的解决方案，协作知识库嵌入和神经分解机器的重大改进。

2. 介绍

2.1 现有工作的存在的不足

• 现有的努力尚未充分探索用于推断用户偏好的这种连接性，尤其是在对路径内的顺序依赖性和整体语义进行建模方面。

2.2 包含辅助信息

• 更好的发现潜在联系
• 可解释和推理

2.3 知识感知的推荐系统分类:

• 路径
  • 元路径（作者认为无效，原因如下）
  • 关系通常在元路径之外，很难指明路径的整体语义，特别是在元路径相似但是关系不同的实体之间
  • 无法自动的发现并推理看不见的连接模式，因为元路径需要专业的知识。
• 嵌入
  • 知识图嵌入
  • 缺点：仅考虑到直接的关系，没有考虑到多跳关系，因此缺乏推理能力。

2.4 本文的提出的模型

• 新模型：KPRN(知识感知路径递归网络)
• 通过组合实体和关系的语义来生成路径表示并且推理用户偏好。
• 具体步骤：
• 抽取合理的路径
• LSTM 建模顺序依赖
• 池化操作聚合路径表示去获取用户-项目的预测信号
  • 池化操作能够区分不同的路径的预测不同的贡献值

3. KPRN模型解读

3.1 模型图

模型图

3.2 背景

用字符串匹配整合用户、项目集合

3.3 通过路径进行偏好推理

• KG中的三元组清楚地描述了项目的直接或间接（即多步骤）关系属性，这些属性应构成给定用户和项目对之间的一条或多条路径。我们探索这些路径，以实现对推荐的全面推理和理解。

• 因此，从推理的角度来看，我们消耗所有路径上的连通性来学习组合关系表示，并将它们加权汇集在一起​​以预测用户和目标项之间的交互关系。

3.4 建模

• 建模：KPRN将每个用户 - 项目对的一组路径作为输入，并输出指示用户将如何与目标项目交互的分数。
• 有三个关键组件：
  • 嵌入层，用于投射三种类型的ID信息：实体，实体类型，以及指向下一个节点到潜在空间的关系
  • LSTM顺序编码元素的层，其目标是捕获以关系为条件的实体的组成语义
  • 池化层组合多个路径并输出与目标项交互的给定用户的最终得分。

3.4.1 嵌入图层

• 在现实世界的场景中，由于连接它们的不同关系，相同的实体 - 实体对可能具有不同的语义是常见的。
  这种差异可以揭示关于用户选择该项目的原因的不同意图。作为一个例子，让（{Ed Sheeran，IsSingerOf，Shape of You}）和（{Ed Sheeran，IsSongwriterOf，Shape of You}）成为引用用户偏好的两条路径中的三元组。
• 在没有指定关系的情况下，这些路径将表示为相同的嵌入，无论用户是否更喜欢Ed Sheeran演唱的歌曲，而不是Ed Sheeran所写的歌曲。因此，我们认为将关系的语义明确地纳入路径表示学习是很重要的。

3.4.2 LSTM层

• 使用嵌入序列来描述路径，我们使用LSTM模型来探索顺序信息并生成用于编码其整体语义的单个表示。这种长期顺序模式对于连接用户和项目实体以估计“交互”关系的置信度的路径是至关重要的。

3.4.3 加权汇集层

• 早期的研究采用的是加权平均

• 不同的路径对模型用户偏好有不同的贡献

• 最终预测分数公式

γ是控制每个指数权重的超参数。这种汇集能够区分路径重要性，这是由梯度引起的。这与反向传播步骤中每条路径的分数成比例。此外，汇集功能赋予最终预测更大的灵活性。特别是在设定时，汇集函数可以退化为最大池; 然而，它可以通过设置降级为均值池。我们在探索中的案例分析部分加权池操作的效用进行了案例研究论文。

3.4.4 学习

• 我们将推荐者学习任务视为二元分类问题，其中为观察到的用户-项目交互分配目标值1， 除此以外0。我们使用逐点学习方法来学习模型的参数。特别地，采用负对数似然作为目标函数，其定义如下：

其中和分别是正面和负面的用户-项目交互对。我们对可训练参数进行的正则化，为简单起见这里省略，以避免过度拟合。

4. 实验

4.1 数据集描述

我们对两个真实世界的数据集（电影项目推荐：MovieLens-1M和IMDb数据集，名为MI，以及音乐推荐：KKBox）进行了实验，以评估我们提出的方法。

• 我们的目的是回答以下研究问题：
  • RQ1：与最先进的KG增强方法相比，我们的方法如何表现？
  • RQ2：多步路径建模（例如，实体和关系类型的合并）如何影响KPRN？
  • RQ3：我们提出的方法可以在路径上推断用户对项目的偏好吗？

我们将数据集处理为：如果用户对电影进行评级或者与歌曲具有交互记录，我们将用户电影或用户-歌曲对设置为观察到的正反馈，目标值为1,除此以外为0。对于每个数据集，我们支持80%和20%随机构建训练和测试集的每个用户的交互历史。对于训练集中的每个积极的用户-项目交互对，我们进行了负抽样策略以将其与用户未与之交互的四个负面项目配对。在测试阶段，正负交互之间的比率设置为1:100，即100个负项目随机抽样并与测试集中的一个正项目配对。

4.2 路径提取

完全探索KG上的所有连接路径是劳动密集型且不可行的。特别地，路径的数量呈指数增长，路径长度将产生数百万个互连链路。正如先前的努力所建议的那样，截断一定长度的所有路径并忽略远程连接足以模拟用户-项目对之间的连接。此外，正如所指出的，长度大于6的路径会引入噪声实体。因此，我们提取连接所有用户-项对的所有限定路径，每个路径长度最多为6。

4.3 基线模型

• MF
• NFM
• CKE
• FMG

4.4 参数设置

• K = {1,2,…,15}
• 学习率 = {0.001,0.002,0.1,0.2}
• 正则化系数 = {10^−5 ,10^−4 ,10^−3 ,10^−2}
• hit@15在五轮之内没有变化的话，将采取提前停止策略。

4.5 KPRN研究

4.5.1 推理模型的影响

我们设置了另一种方法KPRN-r而没有考虑路径中的关系。两个数据集的KPRN-r性能均下降。这证明了我们的直觉，即指定不同的关系对于捕获路径语义非常重要，特别是当涉及相同的实体时。

4.5.2 加权池化的影响

设置γ={0.01,0.1,1,10}

4.5.3 案例研究

KPRN的理想属性是在路径上推断用户对目标项目的偏好并产生合理的解释。这是因为我们的模型从这些关键因素中捕获了更高级别的语义：实体，实体类型和关系。为了证明这一点，我们展示了一个关于电影推荐任务的KPRN的例子。我们在MovieLens-1M中随机选择一个ID为u4825的用户，并从她的交互记录中选择电影“恋爱中的莎士比亚”。然后，我们提取连接用户 - 项对的所有限定路径，并显示图3中的子图。我们有几个观察结果。

• 协作过滤效果起到向用户推荐电影“恋爱中的莎士比亚”的关键规则，因为来自其他用户（例如，u940和u5448）的交互行为涉及两条路径。特别是，包含u5448的路径提供了0.356的高贡献分数来推断用户的兴趣。

• 目标项目与u4825在{Rush Hour，Titanic和Fantasia}之前由共享知识实体（例如演员{Tom Wilkinson}和导演{James Algar}）观看的内容相关联。这表明KPRN能够沿着KG路径扩展用户兴趣。

• 通过共同分析这三条路径，我们发现不同的路径描述了不同角度的用户 - 项目连通性，可以将其视为项目适合用户的证据。特别地，我们可以提供路径方面的解释，例如{推荐莎士比亚，因为你看过由同一个演员汤姆威尔金森扮演的尖峰时刻}或{因为它类似于你之前看过的泰坦尼克号}。本案例说明了KPRN提供信息性解释的能力。