20250412 机器学习ML -（3）数据降维（scikitlearn）

1. 背景

数学小白一枚，看推理过程需要很多时间。好在有大神们源码和DS帮忙，教程里的推理过程才能勉强拼凑一二。

* 留意： 推导过程中X都是向量组表达: shape(feature, sample_n); 和numpy中的默认矩阵正好相反。

2. PCA / KPCA

PCA	KPCA(Linear Kernel)
详细推理基本过程找教程。(详细步骤我也推不出来，数学太菜） 大概过程： 1. 求最小|X-XWWt|^2 时的W 2. 通过trace的性质，等价于求trace(AtA) 3. 最后推导出：需要最大化XXtW=lambdaW，又要降低维度； 所以计算比例lamda中由大到小排序，保留满足一定阈值的前n个特征值和对应的特征向量（就是W）。 输出： 降维Xd= X@Wd 代码很简单.	详细推理基本过程找教程。(详细步骤我也推不出来，数学太菜） 大概过程： 1. 巧妙的设了一个A=XW/sqrt(lambda), K=XtX 2. 通过推导KA=lamdaA，W=XtA/sqrt(lamda) * 大模型解释的A为什么要这么设 输出： 降维Xd= X@Wd = lambda * sqrt(lamda)  代码相对复杂一些。运行的结果和PCA一样的。

PCA

import numpy as np
from sklearn.datasets import load_digits, load_iris
from sklearn.decomposition import KernelPCA

#global round float to scale 2
np.set_printoptions(precision=2, suppress=True)

X, _ = load_iris(return_X_y=True)

X=X[:5]
print(X)

#========================================================
#PCA
# 1. W= XtX's eigVec (responding to max eigVal)
# 2. X_rec=X@[email protected]
#========================================================
eVals, eVecs=np.linalg.eig(X.T@X)
print(np.allclose(X.T@X, [email protected](eVals)@eVecs.T))
print('val',eVals)
print('val',eVals[:2])
print('vec',eVecs)
print('vec',eVecs[:2])

W=eVecs.T[:2].T

print("W",W)
X_rec=X@[email protected]
print(X_rec)
print(X)
print(np.linalg.norm(X - X_rec))
print(np.var(X - X_rec))

KPCA

import numpy as np
from sklearn.datasets import load_digits, load_iris
from sklearn.decomposition import KernelPCA

#global round float to scale 2
np.set_printoptions(precision=2, suppress=True)

X, _ = load_iris(return_X_y=True)

# X=X[:5]
# XMean=np.mean(X)
# X=X-XMean
print(X)


#========================================================
# KPCA
# set:                       A= XW/sqrt(lambda)
# based on PCA's conclusion: XtXW=lambda W                      //由于W有约束, WtW=1 单位正交向量组
# >>>                        W=XtXW/lambda = XtA/sqrt(lambda)   //WtW == 1 == AtXXtA/lambda = AtKA/lambda = At lambda A/lambda = lambda/lambda AtA = 1
# >>>                   同时：XXtXW=lambda XW >>> KA*sqrt(lambda) = lambda A*sqrt(lambda) >>> KA = lambda A  //设A时XW/n(任意值），这个公式都成立；但按上面的设定，可以保证W单位正交。
#
# 1. W = XtA/sqrt(lambda) (A is eigVec of [email protected])
# 2. X_rec=X@[email protected]
#========================================================
# create a callable kernel PCA object
# transformer = KernelPCA(n_components=2, kernel='linear')
# X_transformed = transformer.fit_transform(X)
eVals, eVecs=np.linalg.eig([email protected])
print(np.allclose([email protected], [email protected](eVals)@eVecs.T))

print('val',eVals)
print('val',eVals[:2])
print('vec',eVecs)
print('vec',eVecs[:2])

# W = XtA/sqrt(lambda)
[email protected][:2][email protected](np.sqrt(np.diag(eVals[:2])))

# X_hat = XW = XXtA/sqrt(lambda)= KA/sqrt(lambda) = lambda A/sqrt(lambda) = A*sqrt(lambda)
# 这就是源码中直接用 A*sqrt(lambda) 返回X_transformed的原因：
#
# no need to use the kernel to transform X, use shortcut expression
# X_transformed = self.eigenvectors_ * np.sqrt(self.eigenvalues_)
#


# print(X_transformed.shape)
# print(X_transformed)
#
# [email protected]_
# print(transformer.eigenvectors_.shape)
# print(transformer.eigenvectors_)

print("W",W)
X_rec=X@[email protected]
print(X_rec)
print(X)
print(np.linalg.norm(X - X_rec))
print(np.var(X - X_rec))

参考：

《Python机器学习》