LWC-KD：图结构感知的推荐系统增量学习对比知识蒸馏

LWC-KD：图结构感知的推荐系统增量学习对比知识蒸馏

《Graph Structure Aware Contrastive Knowledge Distillation for Incremental Learning in Recommender Systems 》 2021

作者是 Yuening Wang、Yingxue Zhang 和 Mark Coates
论文地址：https://dl.acm.org/doi/10.1145/3459637.3482117

摘要

       个性化推荐系统在在线服务中发挥着越来越重要的作用。基于图神经网络( Graph Neural Network，GNN )的推荐模型由于图中编码丰富的关系信息，在建模用户兴趣方面表现出了优越的能力。然而，随着在线信息量的不断增长和训练GNN的高计算复杂度，很难进行频繁的更新以提供最新的推荐。已经有一些尝试以增量的方式训练GNN模型，以实现更快的训练时间，并允许使用最新的训练数据进行更频繁的模型更新。主要技术是知识蒸馏，其目的是允许模型更新，同时保留从历史数据中学习到的模型的关键因素。在这项工作中，我们开发了一种新颖的用于推荐系统增量学习的图结构感知对比知识蒸馏方法，该方法专注于推荐上下文中丰富的关系信息。我们将对比蒸馏配方与中间层蒸馏相结合，注入层级监控。我们在4个常用的数据集上展示了我们提出的蒸馏框架对基于GNN的推荐系统的有效性，显示了对最先进的替代品的一致改进。

1、引言

       为了减少信息过载，迎合用户的多样化兴趣，个性化推荐系统在在线平台和服务中发挥着越来越重要的作用。深度学习模型由于其在端到端表示学习上的优越性，在推荐系统设计的各个方面越来越受欢迎。最近的基于图神经网络( Graph Neural Network，GNN )的推荐系统表现出了优越的推荐性能。然而，训练一个准确的深度学习模型需要大量的训练实例且收敛时间较长。特别地，训练一个基于GNN的推荐系统具有很高的计算复杂度，这是由邻居采样和消息传递步骤引入的。在实际场景中，已经使用滑动窗口机制来选择数据(例如,最近10天)中较小的一部分来训练推荐系统。较大的窗口大小使得执行频繁更新以提供考虑到不断变化的用户兴趣的最新推荐非常具有挑战性。然而，较小的窗口大小会导致灾难性的遗忘，推荐系统失去对用户长期偏好的知识。增量学习领域的提出就是为了解决这一困境，对抗灾难性遗忘问题。最常用的两种技术是经验回放(储备池采样)和基于知识蒸馏(正则化)的方法。在这项工作中，我们主要研究知识蒸馏方法。

       由于GNN模型中存在独特的关系信息，已经有几次尝试设计专门针对图结构数据的增量学习技术。LSP 引入了一个局部结构保持模块，显式地描述了教师模型的拓扑语义。最近的一项名为GraphSAIL的工作提出了第一个基于GNN的推荐系统的增量学习框架。它通过匹配教师模型和学生模型各自的结构分布，显式地保留每个节点的局部和全局结构。然而，Graph SAIL继承了vanilla知识蒸馏技术的缺点，在将知识从教师传递到学生模型时，难以捕捉输出维度之间的相关性和高阶依赖关系。最近的对比表示蒸馏公式被