论文阅读“A Deep Graph Structured Clustering Network”

Li X, Hu Y, Sun Y, et al. A Deep Graph Structured Clustering Network[J]. IEEE Access, 2020, 8: 161727-161738.

摘要翻译

图聚类是数据分析中的一项基本任务，在推荐系统、地图知识领域和生物科学领域都得到了广泛的关注。由于图卷积在结合图数据的特征信息和拓扑信息方面非常有效，一些基于图卷积的图聚类方法取得了优异的性能。然而，现有的方法缺乏对结构化信息和图卷积过程的考虑。具体来说，现有的方法大多忽略了拓扑信息和特征信息之间的隐性交互，少量图卷积层的叠加导致对复杂信息的学习不足。受图卷积网络和自编码器的启发，我们提出了将深度聚类方法应用于图结构化数据处理的深度图结构化聚类网络。在骨干网中采用深度图卷积，利用节点特征和拓扑信息对每次迭代的结果进行评估。为了优化无监督网络，设计了三重自监督模块，帮助更新整个网络的参数。在我们的模型中，我们利用了图结构化数据的所有信息并进行了自我监督学习。此外，改进的图卷积层显著缓解了过度平滑导致的聚类性能下降的问题。实验结果表明，我们的模型具有优于最新模型的性能。

The graph data contains abundant information including node feature and topology information.
Graph convolutional network (GCN) [1] is very important in the aspect of extracting the feature and topology information of the graph.
Existing deep graph clustering methods mainly rely on the topology structure of the restored graph data for the construction of the objective function.

切入点：现有方法旨在重构原始拓扑或节点特征以优化学习结果，从而完成聚类任务。但它们忽略了特征信息和拓扑信息之间的隐式交互。而且只有少量的GCN图层堆叠，导致无法学习足够的功能。

主要贡献

• 提出了一种将深度聚类方法应用于结构化数据处理的深度图结构聚类网络(DGSCN)。同时考虑了图节点的特征信息和拓扑信息。
• 提出了一种具有较深的GCN层的聚类任务的方法。它提高了聚类任务的性能，并减轻了过度平滑的影响。
• 设计了一个包含主体网络，GCN自动编码器和DNN自动编码器的三重自我监督模块，以完成端到端的自我监督学习。

模型浅析

整体模型结构图

GCN模块

或者这里可以叫做单目标GAE，因为其利用GCN的特征抽取能力对图中的拓扑信息进行了重构。图中任意两个节点间的关系可以由来进行预测。因此可以基于图嵌入特征训练节点间的连接信息，即：

上式主要用于说明如何将图嵌入特征转化为无向图中的节点连接关系。因此使用到了sigmoid激活函数。
因此整体公式被形式为：

在pytorch的实现可以将其flatten之后利用BCEloss计算。

DNN模块

DNN

这部分就是普通自编码器，此处不再赘述。

Dense GCN模块

启发来源于DenseNet，利用层与层之间的紧密联系来改善信息在网络中的流动，允许结果在每层之间重复使用。

Dense GCN

可以看做层层的跳跃连接：

除了DenseGCN自身产生的特征之外，论文中还进行了三个模块的融合：

此时DenseGCN的输出Z既包含DNN、GCN、DenseGCN三个抽取模块的信息，并由构造了聚类软分配。

TRIPLE SELF-SUPERVISED MODEL 三重自监督模块

由于中间层DenseGCN无关于特征表示的直接监督机制，因此在目标分布的构建上选择了包含重建约束信息的DNN和GCN模块的特征表示，即为：

Q

P

KL_clu

分布的构造皆为对DEC聚类的使用，不赘述。
得到目标分布之外，则可以对DenseGCN进行数据分布的监督和反调。

KL_dgcn

LOSS汇总如下：

image.png

---

论文后续结构

1. DATASETS
2. BASELINES
3. EVALUATION INDICATORS
4. PARAMETER SETTINGS
5. ANALYSIS OF CLUSTERING RESULTS

改论文和上一篇阅读的论文可以说有异曲同工之妙，使用了两个模块的重建和融合机制对两个来源的特征信息进行学习，得到更全面的信息以监督聚类。但是在正则参数的设置上，其值都介于0-1之间，说明模型对于每个模块的依赖性都较强。但实验中未进行最佳参数的分析。