Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning

1.基本概念

• Heterogeneous Information Network（异构信息网络）
  分别表示节点集合，连接关系集合，节点类型集合，连接关系类型集合，节点类型映射，连接关系类型映射。例如图中三种类型的节点（author，paper，subject），两种连接关系类型（write，belong to）

• Network schema（网络模式）
  相当于对异构图的一个抽象表示，以节点类型集合作为新的图顶点集，连接关系集合作为边集合，形成了网络概要模式。用于描述不同节点之间的直接连接关系，捕获局部结构

• meta-path（元路径）
  不同的元路径表示不同的语义，例如PAP（表达两篇文章由同一作者所写），PSP（描述两篇文章属于同一个学科），捕获高阶结构。给定一个元路径，每个节点有很多基于元路径的邻居节点
  

• self-supervised
  数据不用打标签，从数据本身寻找监督信号，原先损失函数定义为预测值和标签的交叉熵（学习的目标是使预测值和真实值尽可能接近），现在定义损失不用数据标签，而是从数据本身的监督信息出发（学习的目标是）

• contrastive learning
  一种典型的自监督学习方法，从数据中提取正样本和负样本，学习的目标是最大化与正样本的相似性，最小化与负样本的相似性

• self-supervised 和 supervised的区别
  监督式的训练数据需要有lable，学习的目标是使模型的预测值和真实的label尽可能接近（损失函数常使用交叉熵来衡量这种相似性），自监督学习不用label，而是从数据中自己提取监督信号，优化目标根据提取的自监督信号来定义，本质一样，区别只是损失函数的定义上

2.文章创新点

• 传统的HGNN（Heterogeneous graph neural networks）使用的半监督式学习，需要数据标签。
• 本文模型使用 自监督学习方式（对比学习）来学习异质图节点的嵌入,数据不需要标签。self-supervised ( contrastive learning)
• 为生成更高质量的负样本，对HeCo方法提出两种扩展。

3.HeCo如何学习节点的嵌入（模型简述）

通过两个view对节点进行编码（聚合邻居信息先获得一个不太准确的嵌入），在两个view下聚合信息时，使用mask机制。为了使在两个view学习到的嵌入更准确，使用对比学习机制（学习到的最终结果是与正样本之间相似度尽可能大，与负样本的相似度尽可能小，选取正负样本时使用cross-view机制），基于对比学习定义对比损失函数，不断优化最终学习到每个节点在两个view下的准确嵌入。
HeCo流程概括：基于两个View和mask，基于GNN聚合邻居节点得到每个节点的初步表示，然后通过选取正负样例构造对比损失，优化损失函数学习到节点最终的embedding。

4.HeCo模型设计细节

4-1 Node Feature Transformation

由于异构图有多种不同类型的节点，所以先预处理，将不同节点的特征映射到相同的向量空间（让不同类型节点的特征向量维度一样，便于后续任务），将每个节点的特征都映射成d维的向量。
图注：不同类型的节点的权重参数和bias不同，每种类型设置一次

4-2 Network Schema View Guided Encoder

1）同一类型的不同邻居节点对当前节点的embedding贡献程度不一样，设置基于node-level的注意力机制。不断聚合邻居信息，学习到节点基于当前类型的embedding。每个邻居节点与当前节点设置一个注意力系数。

图注：计算每个邻居节点对当前节点的重要程度，||（将两个节点特征矩阵连接），a是一个2d × 1的attention vector

2）不同类型的邻居对当前节点的embedding贡献程度不一样，设置基于type-level的注意力机制。基于每种类型学习到一个当前节点的embedding，通过聚合这些学到的embedding得到节点最终的嵌入。

图注：m类型下目标节点集中，每个目标节点的embedding先计算重要程度，再归一化即type-level的注意力系数。

4-3 Meta-path View Guided Encoder

图注：基于meta-path聚合特定节点类型的邻居信息，每条meta-path会得到一个embedding，使用semantic-level attentions注意力机制，聚合各个meta-path下的embedding，得到节点最终的嵌入。

图注：计算注意力系数

4-4 View Mask Mechanism

在基于network view 和 meta-path view生成embedding过程中，使用了view mask。
network view：如果目标节点是P1，聚合邻居节点（Author：A1和A2）（Subject：S1），隐藏其自身的信息（聚合邻居信息时，没聚合自身的特征 hi）
meta-path view：如果目标节点是P1，使用mask直接将A1和S1忽视，P1的邻居节点是P2和P3

• Collaboratively Contrastive Optimization（）
  1）为了方便计算对比损失，将每个节点在view下学习到的embedding放入MLP（一个隐藏层），映射成方便计算对比损失的形式。
  
  2）选目标节点的正负样例-对比学习
  原则：计算目标节点与邻居节点在所有meta-path中共现的次数，若超过规定的阈值，则是目标节点的positive samples，否则是negative samples。
  图注：应该使用了mask机制，统计的都是同类型的节点（论文图中可看出）
  
  图注：总损失函数（network view下的对比损失+mata-path view下的对比损失）

总对比损失，系数γ平衡两个view下的对比损失

通过反向传播，优化损失函数，学习到节点的embedding，下游任务使用meta-path下学习到的embedding

4-5 Model Extension

为了进一步提升模型（对比学习），提出两种新的负样本生成策略，增加了负样本的数量
1）HeCo_GAN（proposed HeCo + discriminator D + generator G）
除了从HIN中选取的负样本之外，另外使用GAN为每个节点生成额外的负样本
proposed HeCo:
用前面提出的HeCo模型先初步生成节点在两个view下的嵌入,用于训练生成器和判别器
discriminator D：
学习的目标：能识别出来自HIN是正样本，来自生成器的样本是负样本（让当前节点与正样本之间概率大，与生成器生成的样本的概率要小）

图注：network schema view下的损失

图注：两个view下的总损失

generator G：
生成器如何生成负样本： 对节点的嵌入构造高斯分布，从分布中选取接近的值当做负样本，然后放入MLP加强。

用两个view下学到的节点嵌入去交替训练判别器和生成器，训练判别器（使其能识别出来自view的嵌入为正样本，生成器生成的为负样本），然后训练生成器来生成负样本，两个步骤交替进行。模型训练完成之后，对于给定的节点的嵌入，可使用训练好的生成器来生成高质量的负样本，和原始的负样本一起去训练HeCo模型。

2）HeCo_MU
思想：混合负样本，来获得更负的样本。
计算节点与负样本节点集中的余弦相似度，选取K个相似度小的样本，对其混合生成K个更负的样本，加入HeCo模型的训练，此过程不增加额外的训练参数。（如何对负样本进行混合？？简单的对负样本进行连接吗 ）

7.view mask mechanism

为什么对节点进行隐藏？？？隐藏之后能加强对比？？？
怎么对负样本混合，使其更负
生成器构造高斯分布原理是什么？？