图信号处理学习笔记（2）：缺失图信号预测

Reference:
[1] S. K. Narang, A. Gadde and A. Ortega, “Signal processing techniques for interpolation in graph structured data,” 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, 2013, pp. 5445-5449.
[2] https://doi.org/10.1090/S0002-9947-08-04511-X

图信号处理学习笔记（1）：https://blog.csdn.net/m0_38002423/article/details/90758200

本文针对推荐算法等应用，阐述一种基于图信号插值的对未知节点的预测方法。

佩利-维纳空间（Payley-Wiener Space）

在笔记（1）中，我们提到了GFT的大致思想：给定一个图的描述矩阵，可以将其对角化得到一组特征值和特征向量，特征值大的特征向量对应了高频成分，特征值小的特征向量对应了低频成分。

假定这些特征值从小到大的排列为$\Lambda =[{\lambda }_1,{\lambda }_2,...,{\lambda }_n]$，其对应的特征向量分别为$U=[u_1,u_2,...,u_n]$。定义图$G$的带宽为$w$的佩利-维纳空间为：由特征值位于$[0,w)$的特征向量构成的向量空间，记作$P{W}_w(G)$。

独特集（Uniqueness Set）

给定一个图$G=（V，E）$，其中$V$为节点，$E$为权值。如果有节点子集$S\subset V$，使得对于任意两个：1）在空间$P{W}_w(G),w>0$下；2）且在子集$S$中相等的图信号$x,y$，它们在总集$V$中也相等，则将节点子集$S$称为$P{W}_w(G)$空间下的独特集。

以上定义说明：要完全重建一个有限频带为$w$的信号，只需要知道其独特集节点上的值即可。

$\Lambda$-子集（$\Lambda$-Set）

对于图$G=(V,E)$，如果有节点子集$Q\subset V$，存在常数$\Lambda >0$，使得$Q$的节点子空间下的所有向量$\varphi$满足：
$$||\varphi ||\le \Lambda ||\mathcal{L}\varphi ||$$
则称节点子集$Q$为$V$的$\Lambda$子集。
其中$Q$的节点子空间表示节点集合$Q$以外的值都为0的子空间。$\mathcal{L}$表示拉普拉斯矩阵的标准化形式，即：
$$\mathcal{L}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$$

独特集与$\Lambda$-子集的关系

定理：对于图$G=(V,E)$，如果节点子集$S\subset V$是$P{W}_w(G)$空间下的独特集，那么其补集$S^c$是$\Lambda =\frac{1}{w}$的$\Lambda$-子集。 证明暂略。

至此，由独特集的定义，对于图中未知节点的预测，可以将问题归纳为：1、根据已知的节点，将它们定义为图的某个子空间的一组独特集。2、根据独特集，寻找尽可能大的$w$值（寻找尽可能大的子空间）。3、寻找子空间下的一组框架，来完成对未知节点的预测。

1) 如何寻找最大的$w$值

定义图$G$的标准化拉普拉斯矩阵为$\mathcal{L}$。假设信号的已知节点集合为$S$，未知节点集合为$S^c$。现在，根据$\Lambda$-子集的定义，令$\varphi \in L_2(S^c)$，表示其除了$S^c$以外的值都为0，则有：
$$\frac{||\mathcal{L}\varphi |{|}^2}{||\varphi |{|}^2}\ge w^2=\frac{1}{{\Lambda }^2}$$

现在要寻找最大的$w$来满足上式，将不等号左边变形，有：
$$\frac{||\mathcal{L}\varphi |{|}^2}{||\varphi |{|}^2}=\frac{{\varphi }^T{\mathcal{L}}^T\mathcal{L}\varphi }{{\varphi }^T\varphi }=\frac{{\varphi }^T{\mathcal{L}}_{(S^c)}^T{\mathcal{L}}_{(S^c)}\varphi }{{\varphi }^T\varphi }$$

其中下标$S^c$表示只取矩阵内节点集$S^c$对应的行和列。
令${\mathcal{L}}_{(S^c)}$的每一组特征值（从小到大）与其标准化后的特征向量为$({\lambda }_1,v_1),({\lambda }_2,v_2),...,({\lambda }_N,v_N)$。由于$\varphi$在该空间内，显然它可以由特征向量的加权进行表示，则：
$$\varphi =\sum _{i=1}^N{a}_i{v}_i$$

同时由于特征向量两两正交，可以改写为：
$$\begin{gathered} \frac{{\varphi }^T{\mathcal{L}}_{(S^c)}^T{\mathcal{L}}_{(S^c)}\varphi }{{\varphi }^T\varphi }=\frac{(\sum _{i=1}^N{a}_i{\mathcal{L}}_{(S^c)}{v}_i{)}^T(\sum _{i=1}^N{a}_i{\mathcal{L}}_{(S^c)}{v}_i)}{\sum _{i=1}^N{a}_i^2||v_i|{|}^2} \\ =\frac{(\sum _{i=1}^N{a}_i{\lambda }_i{v}_i{)}^T(\sum _{i=1}^N{a}_i{\lambda }_i{v}_i)}{\sum _{i=1}^N{a}_i^2||v_i|{|}^2} \\ =\frac{\sum _{i=1}^N{\lambda }_i^2{a}_i^2||v_i|{|}^2}{\sum _{i=1}^N{a}_i^2||v_i|{|}^2} \\ \ge w^2 \end{gathered}$$

由上式可以看到，$\frac{||\mathcal{L}\varphi |{|}^2}{||\varphi |{|}^2}$是各个特征值平方的加权平均，所以其范围是$[{\lambda }_1^2,{\lambda }_N^2]$。要确保上式对所有$\varphi$成立，则可得$w$的最大值为${\lambda }_1$。于是整理可得：
$$||\varphi ||\le \frac{1}{{\lambda }_1}||\mathcal{L}\varphi ||$$
可知$w$的值为${\lambda }_1$，将该值记为$w^{\ast }$。所有包含频率成分小于${\lambda }_1$的信号，都可以由已知节点的值来完美重建。

2) 如何完成插值重建

为了便于描述，将“部分节点值为未知的信号”称为DU信号（Downsampling-Upsampling Signal），顾名思义，类比于一维信号，将原信号下采样并等分辨率上采样后，会将原先的一部分值置为0但保持其他值不变。在Graph域中也可以沿用类似的定义。

得到$w^{\ast }$后，可以给出待预测信号的所在空间应为$P{W}_{w\ast }(G)$，这个空间由所有特征值小于$w^{\ast }$的特征向量构成。令该空间下的基向量（即这些特征向量）的个数为$K^{\ast }$，定义$U_{K^{\ast }}$为包含前$K^{\ast }$个特征向量的矩阵，以及$(U_{K^{\ast }}{)}_S$为该矩阵下节点集合$S$的子矩阵。最直观的方式是将信号投影到最小方差平面上，定义原DU信号为$f$，其在节点集合$S$以外的值为零。则在节点集合$S^c$的插值结果$g$为：
$$g(S^c)=(U_{K^{\ast }}{)}_{S^c}(((U_{K^{\ast }}{)}_S{)}^t(U_{K^{\ast }}{)}_S{)}^{-1}((U_{K^{\ast }}{)}_S{)}^{t}f(S)$$

但是对于$\mathcal{L}$，对于每一个节点分配了不同的关注度，正比于节点的维度，所以最后要进行标准化使得直流频率分量（即特征值为0的特征向量）为常数。因此最后结果为：
$$\hat{g}=D^{-1/2}g$$