2018-01-31 转载知乎：理解一下特征向量和特征值的几何意义

作者：達聞西

链接：https://www.zhihu.com/question/20507061/answer/120540926

来源：知乎

写另一个答案的时候恰好从几何角度举了个带图的小例子，贴过来供参考：

=======================================================

一、先从旋转和缩放角度，理解一下特征向量和特征值的几何意义

从定义来理解特征向量的话，就是经过一个矩阵变换后，空间沿着特征向量的方向上相当于只发生了缩放，比如我们考虑下面的矩阵：

求这个变换的特征向量和特征值，分别是：

（列向量）

和

1.81，0.69

用一个形象的例子来说明一下几何意义，我们考虑下面笑脸图案：

为方便演示笑脸图案在0,0和1,1围起来的单位正方形里，同时也用两个箭头标出来了特征向量的方向。经过

的变换，也就是用这个图案中的每个点的坐标和这个矩阵做乘法，得到下面图案：

可以看到就是沿着两个正交的，特征向量的方向进行了缩放。这就是特征向量的一般的几何理解，这个理解我们也可以分解一下，从旋转和沿轴缩放的角度理解，分成三步：

第一步，把特征向量所指的方向分别转到横轴和纵轴

这一步相当于用U的转置，也就是

进行了变换

第二步，然后把特征值作为缩放倍数，构造一个缩放矩阵

，矩阵分别沿着横轴和纵轴进行缩放：

第三步，很自然地，接下来只要把这个图案转回去，也就是直接乘U就可以了

所以，从旋转和缩放的角度，一个矩阵变换就是，旋转-->沿坐标轴缩放-->转回来，的三步操作，表达如下：

多提一句，这里给的是个(半)正定矩阵的例子，对于不镇定的矩阵，也是能分解为，旋转-->沿坐标轴缩放-->旋转，的三步的，只不过最后一步和第一步的两个旋转不是转回去的关系了，表达如下：

这个就是SVD分解，就不详细说了。

另外，这个例子是二维的，高维类似，但是形象理解需要脑补。

==================================================

如果对协方差矩阵和特征值特征向量的关系有兴趣，原答案地址：

主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？ - 達聞西的回答