论文《Heterogeneous Temporal Graph Neural Network》阅读

论文概况

本文是2022年SDM上的一篇论文，该篇文章提出了一种分层聚合机制，包括内部关系、相互关系和跨时间聚合，以联合建模异构空间关系和时间关系，提出了HTGNN（heterogeneous temporal graph neural network）模型。

Introduction

现有方法的缺陷：

• 现有模型是图相关的
• 以序列化的方式处理空间和时间依赖性。大多数现有模型要么先分析时间域，然后分析空间域，要么以相反的顺序分析，这两个域中的信息是分开处理的，这削弱了时空相互作用。
• 而且目前尚不清楚如何联合集成空间和时间依赖性，同时保留 HTG （异构时序图）上节点表示学习的异质性

对于上述问题，作者提出了HTGNN模型：
（1）为了保留空间异质性，设计了在同一个时间片上的关系内聚合和关系间聚合，以连续聚合目标节点的邻居在相同类型和不同类型的关系中的信息。
（2）为了处理时间依赖性，引入了跨时间聚合，该聚合在不同的时间片上进行。
（3）为了捕获时空交互，为 HTGNN 的每一层配备了分层聚合机制，包括内部关系、相互关系和跨时间聚合模块，以联合的方式对异构空间依赖关系和时间维度进行建模。

Method

A.关系内聚合

将其不同节点类型的特征向量映射到相同的特征空间。

x是原始特征向量，W是可训练的特定类型变换矩阵
对每个时间片中的每个关系类型分别执行关系内聚合。将上一层的节点嵌入作为输入，并在每个时间戳输出每个节点的多个关系嵌入。

采用自注意力机制为每个邻居分配一个反映不同重要性的权重，注意力系数如下：

σ(·) 是ReLU函数，W和a分别是可训练的变换矩阵和注意力向量
通过 softmax 函数对所有基于关系 r 的邻居的注意力系数进行归一化：

采用多头注意力机制

B.关系间聚合

通过内部关系聚合，目标节点将收集多个关系嵌入。关系间聚合模块旨在聚合其在所有关系类型上的邻居的信息。


hr 是关系 r 相对于关系内聚合模块中的节点 v 的嵌入
hR 表示节点 v 的空间嵌入
每种关系类型都保留独特的语义，因此不应同等对待。因此，学习每种关系类型的重要性权重，并探索实施的注意机制。具体来说，对于关系类型 r，使用三步过程来了解其重要性：
（1）首先检索所有相关节点的嵌入并将它们输入非线性变换 Wh；
（2）通过对转换后的关系嵌入进行平均来生成其汇总嵌入；
（3）最后，我们通过测量其概括嵌入与关系注意向量之间的相似度来计算其注意系数。这个学习过程被形式化为：

V表示在时间戳 t 处由关系 r 连接的节点集合，b是偏差向量，W和 c是可训练的变换矩阵和注意力向量。 r 对于 v 的归一化重要性计算如下：

根据不同关系的重要性，通过线性组合生成 v 的空间嵌入：

还可以将其扩展到多头机制。

C.跨时间聚合

捕获目标节点的时间邻居之间的交互，接收目标节点的时间邻居的空间嵌入，并输出该目标节点的时空嵌入。


hv,R 是 l 层中节点 v 在时间戳 t 0 处的时间邻居的空间嵌入，hST 是 l 层中节点 v 在时间戳 t 处的时空嵌入。
由于 Transformer在自然语言处理领域表现出了出色的性能，探索其注意力机制来建模跨时间聚合过程。在计算注意力之前针对不同的时间戳，为 hv,R 定义一个时间编码函数 PE(·) 以纳入与时间相关的因素：

其中 i 是每个元素的索引，p(·) 是频率编码函数，通过将不同时间戳的嵌入输入到该函数中，它们在时间方面变得具有区分性。然后，我们将目标节点的空间嵌入转换为Q向量，将其时间邻居的空间嵌入转换为K向量，并计算它们的点积作为注意力系数来衡量该时间邻居的重要性。

然后通过以下方式计算归一化注意力值：

节点 v 的时空嵌入是通过其时间邻居的变换嵌入和计算的注意力值的线性组合来计算的，公式为：

给定第 l -1 层时间戳 t 处的节点特征向量及其在第 l 层相同时间戳处的时空嵌入，它们的组合可表示为：

D.异构时间聚合层

通过堆叠 L 个异构时间聚合层，可以推导出每个节点在每个时间戳的嵌入，然后，将所有时间戳的节点嵌入求和作为其最终嵌入。
loss函数为：

其中 J(·) 测量实际分数 yv 和预测分数 ˆyv 之间的损失， L2 正则化器，以防止过度拟合。根据不同任务的目标，J(·)可以设置为节点分类和链路预测问题的交叉熵损失，或者回归问题的平均绝对误差。

总结

HTGNN 由多个异构时间聚合层组成，每个聚合层都采用分层聚合机制，包括内部关系、相互关系和跨时间聚合模块，以联合建模异构空间依赖性和时间维度。