主成分分析（PCA）例题——给定协方差矩阵

向量$x$的相关矩阵为

R x = [ 0.3 0.1 0.1 0.1 0.3 − 0.1 0.1 − 0.1 0.3 ] {\bm R}_x = \begin{bmatrix} 0.3 & 0.1 & 0.1 \\ 0.1 & 0.3 & -0.1 \\ 0.1 & -0.1 & 0.3 \end{bmatrix} Rx​= ​0.30.10.1​0.10.3−0.1​0.1−0.10.3​ ​

计算输入向量的 KL 变换。

---

解答

${\mathbf{R}}_x$的特征值为${\lambda }_0=0.1$，${\lambda }_1={\lambda }_2=0.4$。

既然${\mathbf{R}}_x$是对称的，可以构建正交特征向量。

在这个例子中，有

u 0 = 1 3 [ 1 − 1 − 1 ] , u 1 = 1 6 [ 2 1 1 ] , u 2 = 1 2 [ 0 1 − 1 ] {\bm u}_0 = \frac{1}{\sqrt{3}} \begin{bmatrix} 1 \\ -1 \\ -1 \end{bmatrix}, \quad {\bm u}_1 = \frac{1}{\sqrt{6}} \begin{bmatrix} 2 \\ 1 \\ 1 \end{bmatrix}, \quad {\bm u}_2 = \frac{1}{\sqrt{2}} \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix} u0​=3 ​1​ ​1−1−1​ ​,u1​=6 ​1​ ​211​ ​,u2​=2 ​1​ ​01−1​ ​

则 KL 变换为

[ y ( 0 ) y ( 1 ) y ( 2 ) ] = [ 2 / 6 1 / 6 1 / 6 0 1 / 2 − 1 / 2 1 / 3 − 1 / 3 − 1 / 3 ] [ x ( 0 ) x ( 1 ) x ( 2 ) ] \begin{bmatrix} y(0) \\ y(1) \\ y(2) \end{bmatrix} = \begin{bmatrix} 2/\sqrt{6} & 1/\sqrt{6} & 1/\sqrt{6} \\ 0 & 1/\sqrt{2} & -1/\sqrt{2} \\ 1/\sqrt{3} & -1/\sqrt{3} & -1/\sqrt{3} \end{bmatrix} \begin{bmatrix} x(0) \\ x(1) \\ x(2) \end{bmatrix} ​y(0)y(1)y(2)​ ​= ​2/6 ​01/3 ​​1/6 ​1/2 ​−1/3 ​​1/6 ​−1/2 ​−1/3 ​​ ​ ​x(0)x(1)x(2)​ ​

其中$y(0),y(1)$对应于两个最大的特征值。