李宏毅机器学习-PCA

视频链接：

1. 李宏毅2020机器学习深度学习(完整版)国语
2. 用最直观的方式告诉你：什么是主成分分析PCA
3. 【中字】主成分分析法（PCA）| 分步步骤解析 看完你就懂了！

无监督学习做什么

无监督学习主要做两件事情：

1. 聚类&降维：比如说下图的树木，只有输入图片，没有标签，我们希望通过一个函数抽象的表达他们，于是抽出一个更抽象的表述
2. 生成器：也就是无中生有，我们有很多图片，但不知道是怎么生成的，于是需要一个好的函数，将刚才的图片作为输出，希望能够输入随机数字，输出一张照片。
   

聚类（clustering）

聚类就是给一堆没有标签的数据分类，贴标签。

1. K-means算法：首先想一下要将数据分成K类，然后随机找中心点，然后计算所有数据距离中心点的距离，距离最小就属于这个点所属的类。算完后更新K类的中心点，直到所有类别中心点不变为止（贴一张毕设自己画的图）
   
   
2. 但是这样会有另一个问题就是不知道要分多少类，这个就靠经验和直觉了。所以我们又引出了第二种方法来聚类，叫Hierarchical Agglomerative Clustering (HAC)。他的思路就是用样本构建一棵树，然后分成多少类就看在树的哪个水平高度上切分成几个子树。具体做法就是找两两之间相似度最高的，合并成一个子树，然后子树之间也这么做，最后合并到根节点处，最后就看水平切分在哪里了，那样本就会被分为哪几个类，比如下面的如果且在红色的地方，样本就分为两类，左边三个右边两个，如果是在蓝色的地方就是分为3类，左边两个，中间一个，右边两个，同理绿色的就是四类。
   

分布式表示（Distribution Representation）

聚类可以将一些样本分来，但是对于有些样本有很多属性，如宝可梦有多种属性。这样进行分类就不准确了，因此需要使用分布式表示，因此多个属性的样本需要降维进行分类。

降维

1. 为何降维？在3D空间中，有一些卷起来的数据，很难分类，如果平摊到2D中，就可以简单的将这些点分开，
   
   流行学习降维：我所能观察到的数据其实是由一个低维流形映射到高维空间上的（一个立方体可以展开为平面）。由于数据内部特征的限制，一些高维中的数据会产生维度上的冗余，实际上只需要比较低的维度就能唯一的表示。
   降维的举例：一个二维的圆，在整个二维空间中除了这个圆上的点之外的点，都是浪费的，用二维空间来表示这个圆是有冗余的；但如果用极坐标来表示这个圆，就只有半径这一个参数来确定圆。
   流行学习可以概括为：在保持流形上点的某些几何性质特征（圆形、瑞士卷形）的情况下，找出一组对应的内蕴坐标，将流形尽量好的展开在低维平面上。
   

2. 再举例来说，一张图片的尺寸为28*28，但是这个图片中表示数字的信息像素点很少。
   从图中可以看到，一张表示3的图片 ，经过旋转后还是3，但是计算机得到了4张照片。这四张照片可以通过变换矩阵得到，这样图片就得到了压缩。
   

如何降维？

1. Feature selection： 把没用的维度去掉（简单粗暴）
   
2. PCA：
   以下为另一位老师的视频，进行理解PCA原理
   1. 首先通过左图可以看到对于二维数据信息保存需要二维两行向量进行保存，如何能通过降维减小存储空间同时最小化损失？
   2. 观察右图可发现将坐标轴进行了平移和旋转，平移的原点是横轴纵轴所处的中心点。将这几个点连在了x轴上，此时只需要存储旋转后的各点的x轴坐标即可。
      
      3. 因此，PCA的目标就是如何能够找到一组旋转的新的坐标系，使得损失最小，就是最好的
      
      4. 怎样判断损失最小，就是数据最分散的一个角度，此时方差最大
      
      5. 如何计算呢？ 拿绿色点举例，有两种方式：1. 计算绿色点到投影点的最小距离，2. 计算投影点到原点的最大距离。从图中可以看到这两个距离成负相关。
      
      6. 下图可以看到，用SS来表示这6个点的投影(绿色叉叉)到原点的距离的平方。
      
      7. 下图就是经过旋转平移后的坐标轴，数据点投影方向的坐标轴为主成分1（PC1），垂直的坐标轴为主成分2（PC2）
      
      8. 此时已经找到了最佳的旋转平移坐标轴，我们把整体旋转到正常位置。
      • 计算PC1的SS和PC2的SS，然后计算variation（差异）：$SS/n-1$
      • 图中可以看到假设两个差异分别为15和3，那么PC1差异占比83%，PC2差异占比17%
        
      9. 两个的差异状况可以通过柱状图来表示
         
         个人理解：当PC1的数值拉满，也就是到100%时，为理想状态。此时数据压缩情况最好。
         
         10.拓展到三维的情况呢？ 则需要三条主成分线，三条主成分线两两垂直
         
         可以看到两个主成分线已经将数据表示的很全面了。
         

一个白数据（x，y方向为均值为0，方差为1的数据），经过拉伸和旋转得到想要的降维的数据，其中，拉伸的方向就是方差最大的方向，旋转的角度决定方差最大方向的角度

反过来说，将手上的数据对刚才的变换求逆，即压缩和旋转负角度，就能得到白数据

其中，协方差矩阵的特征向量就是R，协方差表示两个变量之间的关系程度，

协方差矩阵如下图，主对角线为自己的方差，副对角线为协方差

将协方差矩阵进行变换

参考资料

1. 李宏毅机器学习系列-无监督学习之PCA