机器学习算法(一)之PCA降维算法理论

PCA降维又称为主成分分析法,顾名思义找到数据中的主要成分,用数据的主要特征对数据进行限定。举一个直接的例子如下:

1.在以下的红色,绿色,蓝色三份样本中有很多的点,每一个点在平面直角坐标系中有它自己的(x,y)坐标,因此相当于样本点具有二维的约束,对计算机来说,数据的维度越到,存储需要的计算空间越大,同时容易造成过拟合。

2.PCA降维的核心就是通过某种数学上的映射关系,将原本高维空间中的样本进行低维空间的映射,进行保证数据的特征性质不变,如下图中所示,将原本空间的中四个点在u1直线上做投影,因此进行四个点的描述可以使用u1直线上的相对位置。因此将原本(x,y)转换为ρ的极坐标形式,因为在同一条直线上,因此辅角相同,因此确定ρ即可对数据进行分类。


3.PCA降维的作用:

1)防止数据进行过拟合,数据中会有一定的噪声点,如果对其进行降维可以,减少异常点的影响。

2)将高维度的样本映射为地低维度空间中,可以有效的加快计算的速度

3)PCA降维一般很少单独使用,一般作为数据预处理部分。

4.PCA降维的算法计算步骤:

1)对数据样本矩阵进行BN归一化

2)计算协方差矩阵

3)对协方差矩阵进行特征特征向量的计算与特征值得求取,降低的维度为求取特征值得个数。将求得的特征向量重新组合成矩阵完成数据降维度。

AI学习的道路上,一起学习进步~

你可能感兴趣的:(机器学习算法(一)之PCA降维算法理论)