KPCA非线性降维原理推导

从上一篇文章我们学习了PCA降维，但是PCA降维是线性降维，很多情况下的效果并不好，这时候就需要将算法扩展为非线性降维，得到了KPCA，核PCA降维

KPCA非线性降维

PCA能应用的范围是有限的，有的数据集使用线性降维没用，这时候就需要使用非线性降维。

在上面中间的例子中，无论怎么降维都不能得到很好的结果，因为并不是所有数据的维度都是线性关系，可以看到第二张图中第二个维度与第一个维度是平方关系。

与SVM中的思想一样，我们考虑将数据投影到高维空间$\varphi$，然后进行线性降维，那么在空间$\varphi (x)$中的线性降维就等价于在空间$x$中的非线性降维。

在PCA中，我们的计算过程中只用到了数据的内积$K=X^{T}X$，因此使用核函数在让数据在高维空间中进行线性降维成为了可能。事实上非线性降维就是通过核函数在高维空间中线性降维，因此叫Kernel PCA（KPCA）。

下面我们考虑在高维空间中的PCA。

假设数据映射到高维空间后表示为$Z\in {\mathbb{R}}^{D_m\times N}$，$z_i=\varphi (x_i)$，在高维空间中的问题也就转化成了$Z{Z}^T{w}_d=\lambda w_d$，其中的$w_d$是高维空间特征$Z$用来降维的一个主成分，这个主成分很容易求，但是求出来并不能直接用，因为这个主成分是对数据$\varphi (x)$进行降维用的，而我们并不知道$\varphi$是什么函数，要寻找别的能让我们用上核函数的办法。

我们对原始问题进行转换：
$$\begin{array}{rl}{w}_d& =\frac{1}{\lambda }Z{Z}^T{w}_d\\ & =\frac{1}{\lambda }\sum _{i=1}^N{z}_i{z}_i^T{w}_d\\ & =\sum _{i=1}^N{z}_i\cdot (\frac{1}{\lambda }{z}_i^T{w}_d)\end{array}$$
上面的式子表明投影/主成分的方向$w_d$是样本$z_i$的线性组合（虽然没什么用，但就想说一下）。$w_d$是可以求出来的，是个确切存在的向量，那么我们令${\alpha }_{i,d}=\frac{1}{\lambda }{z}_i^T{w}_d$，那么能变成：
$$w_d=\sum _{i=1}^N{z}_i\cdot {\alpha }_{i,d}=Z{\alpha }_d$$
其中$Z=(z_1,z_2,\cdots ,z_N)$，${\alpha }_d=({\alpha }_{1,d},{\alpha }_{2,d},\cdots ,{\alpha }_{N,d})$。

${\alpha }_d$是不能直接算出来的，因为计算公式里包含了$Z$，也就是高维空间中的数据。先不用管$\alpha$是什么东西，现在只要知道，如果知道了${\alpha }_d$，我们就能通过$Z{\alpha }_d$表示出$w_d$，然后就能通过这个$w_d$求出高维空间数据$Z$降维后的坐标，具体怎么求下面慢慢讲。我们下一步所要做的事情就是通过转化，求出这个${\alpha }_d$，然后进一步表示出$w_d$。

上面的矩阵表示有点难想，不清楚的可以拿纸画一画，不清楚到底为什么这个干可以先跳过看后面，看完再慢慢理解。

我们将上述等式带入原等式：
$$\begin{array}{rl}Z{Z}^T{w}_d& =\lambda w_d\\ Z{Z}^T(Z{\alpha }_d)& =\lambda Z{\alpha }_d\\ Z^{-1}Z{Z}^T(Z{\alpha }_d)& =\lambda Z^{-1}Z{\alpha }_d\\ Z^{T}Z{\alpha }_d& =\lambda {\alpha }_d\end{array}$$
经过上述变换，我们发现${\alpha }_d$实际上就是$Z^{T}Z$的特征向量，跟PCA的主成分很像，但PCA主成分是$Z{Z}^T$的特征向量，这里转置了一下，二者没有一点关系。

通过求解$Z^{T}Z$的特征向量，我们就能求出${\alpha }_d$了。$Z^{T}Z$我们是可以求的，它实际上就是高维数据空间中的所有数据的内积，虽然我们不能知道高维空间数据点长什么样，但我们有核函数，能直接获得高维空间中的点的内积，那么给定一个核函数$K(x_1,x_2)$，我们可以得到$(Z^{T}Z{)}_{ij}=K(x_i,x_j)$。到此，我们求出了${\alpha }_d$。

再来看之前的公式：
$$w_d=\sum _{i=1}^N{z}_i\cdot {\alpha }_{i,d}=Z{\alpha }_d$$
$w_d$我们现在也能求了，$w_d$是高维空间数据$Z$的主成分的一个方向，也就是说给定一个$w_d$，对于高维空间中的数据$z_i$，我们能算出它在低维空间中的第$d$个坐标。我们将上述公式扩展成矩阵：
$$\begin{gathered} (w_1,w_2,\cdots ,w_d)=Z({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_w) \\ W=Z\alpha \end{gathered}$$
$w_d$能将一条高维数据映射得到一个坐标，那么这个大矩阵$W$能映射得到低维空间中的所有坐标，也就是能直接将一条高维样本点转化成低维样本点。转换公式为：
$$x_i^{low}=W^T\varphi (x_i)$$
不要忘了$W$是高维样本的变化矩阵，因此变化的对象是高维样本$\varphi (x_i)$。但我们之前说了，我们求不出这个高维样本的坐标，那列出来有什么意义呢？将$W$表达式带进去我们就会发现神奇事情：
$$\begin{array}{rl}{x}_i^{low}& =((Z\alpha {)}^T\varphi (x_i))\\ & ={\alpha }^T{Z}^T\varphi (x_i)\\ & ={\alpha }^T(Z^T\varphi (x_i))\\ & ={\alpha }^T(\varphi (X{)}^T\varphi (x))\end{array}$$
可以先算括号中的部分，其中$Z^T$每一行表示一条高维空间的数据，因此二者相乘的结果可以用核函数表示：
$${\mathbf{\alpha }}^{\mathbf{T}}{\mathbf{Z}}^{\mathbf{T}}\mathbf{\varphi }(\mathbf{x})={\mathbf{\alpha }}^{\mathbf{T}}\left(\begin{array}{c}k\left({\mathbf{x}}_1,\mathbf{x}\right)\\ k\left({\mathbf{x}}_2,\mathbf{x}\right)\\ ⋮\\ k\left({\mathbf{x}}_N,\mathbf{x}\right)\end{array}\right)=\left(\begin{array}{c}{\sum }_{i=1}^N{\alpha }_{1,i}k\left({\mathbf{x}}_1,\mathbf{x}\right)\\ {\sum }_{i=1}^N{\alpha }_{2,i}k\left({\mathbf{x}}_2,\mathbf{x}\right)\\ ⋮\\ {\sum }_{i=1}^N{\alpha }_{D^{\prime },i}k\left({\mathbf{x}}_N,\mathbf{x}\right)\end{array}\right),k\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j$$

到此，我们就通过一个核函数$K$，以及原始空间中的样本点，得到了将样本映射到核函数表示的高维空间然后进行线性降维的结果，也相当于对原始样本$X$进行非线性降维的结果。

KPCA算法流程总结

• 现将样本$X$中心化，然后计算$k_{i,j}=k(x_i,x_j)$，得到中心化的$\overline{K}$
• 对$\overline{K}$做特征分解
• 选择$D^{\prime }$个最大的特征值对应的特征向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{D^{\prime }}$（${\alpha }_d$是$N$维的向量，通常对${\alpha }_i$归一化，模长为1）
• 对一个新样本，可以得到其低维表示：

$${\mathbf{x}}_{\mathbf{i}}^{\mathbf{l}\mathbf{o}\mathbf{w}}=\left(\begin{array}{l}{\sum }_{i=1}^N{\alpha }_{1,i}k\left(x_1,\mathbf{x}\right)\\ {\sum }_{i=1}^N{\alpha }_{2,i}k\left(x_2,\mathbf{x}\right)\\ ⋮\\ {\sum }_{i=1}^N{\alpha }_{D^{\prime },i}k\left({\mathbf{x}}_N,\mathbf{x}\right)\end{array}\right)$$