论文阅读：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

【GCN】论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS对于该论文的讲解已十分详尽，本文在其基础上进行少量补充与修改

目录

Abstract

• 通过谱图卷积（spectral graph convolutions）的局部一阶近似来选择卷积结构
• 在图边的数量上进行线性缩放并学习隐藏层表示，对局部图的结构和几点特征进行编码
• 在引文网络和知识图数据集（knowledge graph dataset）上效果优异

1.INTRODUCTION

• 基于图的半监督问题的定义：
  对一张图里的结点进行分类，但是只有一小部分的结点是有标签的
• 使用神经网络模型$f(X,A)$对所有有标签的结点进行基于监督损失$L_0$的训练。其中$X$为输入数据，$A$为邻接矩阵
• 在图的邻接矩阵上调整 $f(\cdot )$ 将允许模型从$L_0$中分配梯度信息，并使其能够学习所有带标签或不带标签的结点的表示

2.FAST APPROXIMATE CONVOLUTIONS ON GRAPHS

• 多层图卷积网络的传播规则：$H^{(l+1)}=\sigma ({\tilde{D}}^{-1/2}\tilde{A}{\tilde{D}}^{-1/2}{H}^l{W}^l)$
• $\tilde{A}=A+I_N$为无向图G的带自环邻接矩阵,$I_N$为单位矩阵
• ${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$
• $W^l$为可训练权重向量
• $\sigma 为激活函数$
• $H^l\in R^{N\times D}$为第I层的激活矩阵，$H^0=X$

2.1 Spectral Graph Convolutions谱图卷积

对于两代卷积核的推导，描述

2.2 Layer-Wise Linear Model

利用卷积的定义简化公式，先把训练目标简化为确定两个参数，随后再通过两个参数之间的关系将目标进一步简化为确定一个参数

3 Semi-Supervised Node Classification

• 希望邻接矩阵A中能包含X中没有的信息；比方说在文献间的引用链接或者知识图中的关系
  

3.1 Example

• 考虑两层GCN
• 预处理操作：其中A为对称的邻接矩阵
  
• 利用2中的简化操作简化过程，并用使用softmax激活函数：
  
  此处$W^{(0)}$为输入层到隐层的权重矩阵，$W^{(1)}$为隐层到输出层的权重矩阵。
  但是不太理解文中所说的$W^{(0)}$具有H个特征映射（feature map）是什么意思，之前了解到的feature map我一般理解为图像的通道数，如果纯灰度图就是1，RGB彩图就是3，对图像的处理和对图的关系到底为何，本小白还在探索中…

3.2 Implementation

使用TensorFlow进行基于GPU的稀疏-密集矩阵乘法实现2中简化过的公式：

计算复杂度与图的边数呈线性相关。

5 Experiments

• 引文网络：半监督文献分类
• 从知识图中提取的二分图(bipartite graph)：半监督实体分类
• 随机图：评估不同的图传播模型和运行时间

5.1 Datasets

Citation networks

• Citeseer,Cora and Pubmed
• 每篇文献的稀疏词包（bag-of-words）特征向量
• 一张关于在文献之间引用链接的列表
• 把每个链接看作无向边，构造二元对称邻接矩阵
• 每一类只用20个特征而非全部特征向量

NELL

• 知识图就是一系列用有向且有标记的（labeled）边（关系）连接起来的实体
• 为每个实体对分配关系结点（relation node）
• 每个结点都用离散的特征向量描述
• 用one-hot编码每个关系结点从而增加特征数量
• 只要训练集里有一个有标签的样本，学习就可以进行
• 不管结点i和j之间有几条边，在邻接矩阵的相应位置都表示为1

Random graphs

• 模拟不同大小随机的图数据集
• 对于每一个有N个结点的数据集，创建一个有2N条平均分布的边的数据集
• 结点除标签外无其他特征

5.2 SETUP

见另一篇阅读笔记即可

5.3 Baselines

• label propagation(LP) (Zhu et al., 2003)
• semi-supervised embedding (SemiEmb) (Weston et al., 2012)
• manifold regularization (ManiReg) (Belkin et al., 2006)
• skip-gram based graph embeddings (DeepWalk)(Perozzi et al., 2014)
• iterative classification algorithm (ICA) Lu & Getoor(2003)
• Planetoid (Yang et al., 2016)

6 Results

6.1 Semi-Supervised Node Classification

• 比较各种方法运行100次的平均正确率
• 最后一行是本文模型在10个随机抽取、与（Yang et al. 2016)文章中大小相同的数据集上的结果

6.2 Evaluation of Propagation Model不同传播模型的选择

6.3 Training Time per Epoch

7 Discussion

7.2 Limitations and Future Work

本方法的局限

• 内存需求：无法试应非常大且密集的图数据集
• 无向图与有向图：只能在无向图上使用，如果要在有向图上使用需要进行相应处理
• 局限性的假设：在不同的数据集上，2中为简化计算所作的假设不一定是最合适的