Semi-supervised classification with graph convolutional networks

研究意义:

1、在拓扑图中 可以有效的提取空间特征

2、拓扑图中每个顶点的相邻顶点数目可能不同，所以不能用同样大小的卷积核进行卷积操作

 

本文主要结构如下所示:

一、Abstract

提出将卷积操作应用到图上，通过图频域的近似分析来建模学习图的局部结构和结点特征。

 

二、Introduction

介绍图上结点分类的半监督问题，通过神经网络学习结点的表式，半监督定义loss function ，提出了图上神经网络传播规则并将其与图频域分析联合起来

 

三、Fast Approximate Convolutions on Graph

图神经网络信息前向传播规则，图频域分析

 

首先介绍了图上的快速近似卷积

 

然后，介绍了谱图卷积，主要是上述图中公式(3)， 主要作用是将原始信号(也就是输入x)，通过傅立叶变换(U'x)，变换到频域，在频域上在乘一个信号(g*U'x)，再做傅立叶逆变换还原到空域

(频域上相乘相当于空域卷积，可以解决掉空域上对不确定结构的图卷积问题)，但是这种做法存在的问题就是，计算非常复杂，每次都需要对矩阵进行分解，计算开销较大。

之后，为了减少计算量，文中又提出了用切比雪夫多项式逼近的方式进行替换，就是上述图中公式(4)，最后改进后的卷积核公式如上述图中公式(5)所示，公式为K阶的切比雪夫多项式的形式，所以中心结点只会受到K步以内的结点影响。(不需要对拉普拉斯矩阵进行分解，有效减少了参数)

最后，又提出了线性模型，也就是上述公式中k=1的时候，并且文中近似认为最大特征值为2，公式转化成上述公式(6)，对参数矩阵进行一些变换操作，公式转化成上述公式(7)，重新归一化操作。最终卷积核公式为公式(8)。

 

四、Semi-Supervised Node Classification

提出一个两层GCN模型，并设计了一个半监督loss function

 

上图中，图a表示输入是一个C维特征，输出F维特征，中间又很多隐藏层，X是训练数据，Y是标签，图b是一个实验可视化结果，前向传播模型是上述图中公式(9)，表示两层GCN，W0表示输入到隐藏层的权重矩阵，W1表示隐藏层到输出层的权重矩阵；损失函数如图公式(10)，采用交叉熵，评估有标签的数据。

 

五、Related Work

       总结了DeepWalk、Node2vec、Line等图算法

 

六、Experiment

实验探究模型的有效性、结点分类、信息传播以及训练时间

首先主要介绍了实验的一些数据集以及实验相关设置

 

     之后给出了半监督分类的实验结果

七、Discussion

       讨论GCN 相比其它baseline模型的优势，讨论未来的发展方向

八、Conclusion

 总结提出了GCN模型，基于图频域分析的一阶近似，使用图的结构以及节点特征通过半监督学习实验论证模型的有效性

        关键点: 模型结构、图的拉普拉斯变换、切比雪夫多项式卷积核、频域分析

        创新点: 空域和频域联系、切比雪夫多项式的应用、半监督框架 + lay-wise GCN

        启发点: 1阶切比雪夫多项式近似、半监督框架的消息传递策略融合了点的特征和图结构、GCN与Graphsage、Gat都是经典的图算法baseline