AAAI 2023 | 图神经网络学习同构计数

AAAI 2023 | 图神经网络学习同构计数_第1张图片

©PaperWeekly 原创 · 作者 | 于星橦

单位 | 中国科学技术大学博士生

研究方向 | 图神经网络

AAAI 2023 | 图神经网络学习同构计数_第2张图片

论文题目:

Learning to Count Isomorphisms with Graph Neural Networks

论文链接:

https://arxiv.org/pdf/2302.03266.pdf

代码链接:

https://github.com/Starlien95/Count-GNN

论文录用:

AAAI 2023 Main Track

作者主页:

https://xingtongyu.netlify.app/

20e9ab96304c4cc9371777452601c4b8.png

摘要

子图同构计数是图上的一种重要任务,其目标是在图上寻找重复的子图模式。子图同构计数在许多基于图的任务中都有应用,例如社交网络分析、生物信息学和化学。传统的方法通常基于回溯框架,需要遍历一个巨大的搜索空间,计算代价非常高。一些最近的研究利用图神经网络(GNN)来学习一个低维向量表示,用于估计子图出现的次数。

传统 GNN 采用基于节点的消息传递机制,接收和聚合节点上的消息,当要处理同构计数这样需要将复杂图结构进行配对的任务时,存在表达能力不足的问题。此外,在输入图上,可能的查询图的空间是巨大的,并且输入图的不同局部结构将被触发以匹配不同的查询图。因此,使用一个固定表征的输入图来匹配不同结构的查询图是不现实的。

在本文中,我们提出了一种名为 Count-GNN 的新型 GNN,来解决子图同构计数任务中的上述挑战。在边级别上,考虑到边是编码图结构的原子单元,我们提出了一个基于边的消息传递机制,基于边的邻接关系传递和聚合消息,以保留细粒度的结构信息。在图级别上,我们调节输入图表征,使其自适应于每个查询图,以提高同构计数准确率。最后,我们在多个公开数据集上进行了实验,结果表明 Count-GNN 在子图同构计数任务上优于现有方法。

12a88f9a7a79b0c388e779aeb29304b6.png

方法

AAAI 2023 | 图神经网络学习同构计数_第3张图片

▲ Count-GNN框架图

2.1 基于边的消息传播

AAAI 2023 | 图神经网络学习同构计数_第4张图片

对于子图同构计数问题,捕获精细的结构信息对于查询图和输入图之间的更精确的结构匹配至关重要。因此,我们利用基于边的消息传播,其中每条边接收并聚合相邻边的消息。

具体地,我们首先初始化边的初始化特征,将起点、边、终点原始特征拼接:

205a4a4ddf5e718a2b4dfe24fed9fb20.png

在获得边的初始化特征后,我们设计了一个以边为中心的 GNN 层,其中每条边接收并聚合邻居边上的信息。基于边的消息传播可以通过堆叠多层来实现递归。形式上,在第 l 层中,边上信息的更新方式如下:

8271e570e590683a77d8e88f10695233.png

c93799d92f1c1c2b5114d2ea4165e474.png

上述消息传播机制被用于学习查询图和输入图的特征表示。


2.2 以查询图为条件的图表示

AAAI 2023 | 图神经网络学习同构计数_第5张图片

在边级别之外,Count-GNN 将边上的特征表示读出为图上的特征表示,以促进查询图和输入图之间的结构匹配。

2.2.1 查询图表示

在查询图上,我们采用了经典的图特征读出方法。

b26cd68550ddc7dcdc292fea8c3717ed.png

2.2.2 输入图表示

不同的查询图通常具有不同的结构,这意味着输入图的不同子图(部分)将被触发以匹配不同的查询图。因此使用固定的图读出表示方法来表示输入图无法很好地适应每个查询图来进行有效的结构匹配。我们在输入图中的边特征表示上利用  Feature-wise Linear Modulation(FiLM),以查询图为条件来进行图编码,来保留特定于查询图的局部结构。

首先,我们利用 FiLM 来基于查询图改变输入图的边的特征表示:

9fed7552da49c6f8c4759fc8e998f5c6.png

88cb23395cf3e5dc3b58aa559e8af9fd.png

然后通过读出函数进一步融合调整后的边的特征表示,生成调整后的输入图表示,针对每个查询图进行定制,以实现输入图和查询图之间更精确的匹配。

0d16c6f9414b2690fcd65988c6ed7274.png

2.3 同构计数

我们基于查询图和输入图之间的结构匹配性来估计子图同构数目。

40c502765042e978138e656bc03dcbc0.png

这里 MATCH 可以是任何函数,我们使用的是一个全连接层。

2.4 损失函数

基于同构计数模块,我们设计了整体的训练损失函数。

93028e7e06cc87aad5a2b03ca5c835fb.png

第二项为 FiLM 上的正则项,第三项为模型参数上的 L2 正则项。具体而言,FiLM 正则项旨在通过以下方式鼓励更少的缩放和平移,从而减少过拟合。

c7465aee9dd76b7c10ecc75cdbacf53d.png

059aa63c1158c6d5b29468f0e7dc60ce.png

结果

3.1 方法比较

我们在两个合成数据集(SMALL, LARGE)和两个公共数据集(MUTAG, OGB)上进行了同构计数实验。

AAAI 2023 | 图神经网络学习同构计数_第6张图片

我们可以得到以下三个结论:

  • Count-GNN 相对于经典的 VF2 算法实现了 65-324 倍的加速,相对于 Peregrine 实现了 8-26 倍的加速。

  • 相比其他基于 GNN 的同构计数模型,Count-GNN 更加高效。

  • 在大多数情况下,Count-GNN 的准确性比传统的 GNN 模型提高了至少30%。

3.2 消融实验

为了评估 Count-GNN 中设计的模块的有效性,我们进行了消融实验。Count-GNN\E 是传统的基于节点的消息传播,Count-GNN\M 不考虑查询图直接将输入图读出。

AAAI 2023 | 图神经网络学习同构计数_第7张图片

消融实验说明了这两个模块的有效性。

d0ff7d27a12851f67a02d67f5162a39c.png

结论

本文提出了新的模型 Count-GNN,用于在带标签的图上近似解决子图同构计数问题。在模型方面,我们设计了两个关键模块,即基于边的消息传播和基于查询图的图表示,以提高查询图和输入图之间的结构匹配性。在理论方面,我们证明基于边的消息传播比基于节点的消息传播信息表达能力更强。在实验方面,我们在几个基准数据集上进行了大量实验,以展示 Count-GNN 的有效性和效率。

更多阅读

AAAI 2023 | 图神经网络学习同构计数_第8张图片

AAAI 2023 | 图神经网络学习同构计数_第9张图片

AAAI 2023 | 图神经网络学习同构计数_第10张图片

8d873ecdfb40ea448b6aafb06b394d4b.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算

 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿

AAAI 2023 | 图神经网络学习同构计数_第11张图片

△长按添加PaperWeekly小编

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

ea1327e020f7aa57f4cf8d383e08234e.jpeg

你可能感兴趣的:(神经网络,学习,深度学习,机器学习,人工智能)