low pass filtering / high pass filtering

在图神经网络（GNN）中，低通滤波（low-pass filtering）特性是指网络在学习图节点表示时，倾向于保留图结构中局部相似节点之间的信息，同时平滑掉图中的不相关信息。这种特性使得 GNN 能够捕捉到节点的局部结构特征，并且能够在信息传播过程中忽略掉远离当前节点的、噪声较多的部分。

低通滤波的类比

为了更好理解 GNN 编码器中的低通滤波特性，我们可以借用传统信号处理中的滤波器类比。信号处理中的滤波器可以根据频率成分将信号分为高频成分（快速变化的部分）和低频成分（平稳变化的部分）：

• 低通滤波器 允许通过低频信号（平稳变化）而抑制高频信号（快速变化），平滑信号。
• 高通滤波器 则只允许通过高频信号，去除低频部分。

在图信号处理（Graph Signal Processing）中：

• 低频信号 通常表示图中局部结构（相邻节点的相似性），例如一个节点与其邻居之间的关系。
• 高频信号 则表示图中的快速变化（远离节点的异质性或不相关性），例如远距离节点之间的关系。

GNN与低通滤波

GNN 编码器通过节点的邻居信息来更新节点的表示。在这个过程中，它在某种程度上起到了低通滤波的作用，即：

• 局部聚合信息：节点的表示（embedding）更新时，通常会将其邻居节点的信息（即低频信号）与自己的信息结合。通过这种方式，GNN 保持了局部结构的平滑性，使得相邻节点之间的表示较为相似。

• 图卷积操作：GNN 中的图卷积操作（如 GCN、GraphSAGE 等）本质上就是一种低通滤波的操作。每一层的卷积会聚合当前节点及其邻居的特征，从而平滑局部图结构。随着层数的加深，网络逐渐引入更多远距离节点的信息，但在某种程度上依然保留了局部结构的特性。

• 信息传播：在 GNN 中，信息通过邻接矩阵传播，形成一个信息传递机制。每一层的传递（或者说信息的聚合）更多关注相邻节点或局部邻域的特征，而忽略远离节点的“高频”部分。随着层数的增加，尽管信息可以传播到更远的节点，但网络依然偏向于强调局部结构信息。

• 特征平滑：GNN 中的节点特征会受到邻居节点特征的影响，导致节点的表示趋于平滑。例如，如果两个节点在图中是相邻的，它们的表示会较为相似，类似于低通滤波中的平滑过程。

低通滤波在ＧＮＮ上的体现，即图卷积操作$h_v^{(t+1)}=\sigma ({\sum }_{u\in \mathcal{N}(v)}W{h}_u^{(t)}$

低通滤波的优缺点

优点：

• 捕捉局部结构：低通滤波特性使得 GNN 能够有效捕捉局部图结构信息，对于节点分类、图嵌入等任务尤其重要。
• 平滑节点特征：这种平滑有助于减少图中噪声的影响，特别是在数据稀疏或噪声较大的情况下。

缺点：

• 过于平滑：过强的低通滤波特性可能导致 GNN 忽略图中重要的高频信息（即远离节点的差异化信息），从而失去对一些细粒度特征的捕捉能力。
• 长距离依赖：在深层网络中，由于多层的卷积操作，远离当前节点的信息可能逐渐被忽略，导致网络难以有效地学习到全局结构。