SVD 算法
SVD 算法
- 1. 基本概念与背景
- 2. SVD 的数学基础
- 3. SVD 的步骤
- 4. SVD 的应用场景
- 5. SVD 的优点
- 6. SVD 的局限
- 7. 实现 SVD 的步骤
-
-
- 1. 导入必要的库：
- 2. 读取数据并计算协方差矩阵：
- 3. 求解特征值和奇异向量：
- 4. 构造 U、Σ 和 V T V^{T} VT 矩阵：
- 5. 应用 SVD 进行降维或去噪：
-
- 8. 示例：文本降维
-
-
- 01. 计算协方差矩阵：
- 02. 求解SVD
- 03. 构造 U 和 V T V^{T} VT：
- 04. 矩阵分解与重建：
- 05. 应用后的结果：
-
- 9. 总结
- 附录
-
- 正交矩阵 (Orthogonal Matrix)
- 对角矩阵 (Diagonal Matrix)
- 协方差矩阵 (Covariance Matrix)
- 求解特征值与奇异向量
1. 基本概念与背景
Singular Value Decomposition（SVD）是一种将一个高维矩阵分解为三个矩阵相乘的线性代数方法。它广泛应用于降维、去噪以及分析矩阵的秩等任务。在图像处理、自然语言处理和数据挖掘等领域，SVD提供了一种有效的手段来提取有意义的特征。
2. SVD 的数学基础
假设我们有一个大小为 m×n 的矩阵 A。通过SVD，我们可以将其分解为三个矩阵：
U：一个大小为 m×m 的正交矩阵，表示左奇异向量。
Σ：一个大小为 m×n 的对角矩阵，对角线上的元素（特征值）决定了每个奇异向量的重要性。
V T V^{T} VT：一个大小为 n×n 的正交矩阵，表示右奇异向量。
分解公式可以表示为：
A = U Σ V T A = UΣV^{T} A=UΣVT
3. SVD 的步骤
- 计算矩阵的协方差矩阵： 如果处理的是一个图像或文本矩阵，首先需要计算其协方差矩阵以捕捉主要的特征。
- 求解特征值与奇异向量： 通过对协方差矩阵进行特征分解，得到特征值和对应的奇异向量。
- 构造 U、Σ 和 V T V^{T} VT 矩阵： 将特征值按降序排列，选择主要的k个特征值（k为所需降维后的维度），然后归一化这些奇异向量来得到矩阵 U 和 V T V^{T} VT。Σ 矩阵则由选定的特征值构成。
- 矩阵分解与重建： 将原矩阵 A 用 U、Σ 和 V T V^{T} VT进行分解，并验证分解后的结果是否正确。
4. SVD 的应用场景
- 降维： 在高维数据处理中，SVD可以有效地降低数据的维度，同时保留主要的信息。
- 去噪： 通过选择较大的特征值，可以过滤掉噪声，提取核心特征。
- 文本挖掘： 用于分析词语之间的关系，识别重要主题和模式。
- 图像处理： 分离物体与背景，提取人脸等关键部分。
- 全新的界面设计 ，将会带来全新的写作体验；
5. SVD 的优点
- 保留主要特征： 通过选择较大的特征值，可以关注最有代表性的信息。
- 正交性： U 和 V T V^{T} VT 是正交矩阵，保证了分解后的结果具有良好的几何性质。
- 适用广泛： 无论是实数矩阵还是复杂的高维数据，SVD都能提供有效的降维方法。
6. SVD 的局限
- 计算复杂度： 对于大规模矩阵，SVD的计算复杂度较高，可能需要大量内存和处理时间。
- 选择特征值的依赖性： 在实际应用中，如何选择合适的特征值（k值）对结果至关重要，这需要基于业务理解进行调整。
7. 实现 SVD 的步骤
1. 导入必要的库：
NumPy 和 SciPy 提供了矩阵运算和特征分解的功能。
2. 读取数据并计算协方差矩阵：
如果处理文本或图像，首先需要将其转换为浮点数矩阵，并计算其协方差矩阵。
3. 求解特征值和奇异向量：
使用 SciPy 的 svd 函数对协方差矩阵进行分解。
4. 构造 U、Σ 和 V T V^{T} VT 矩阵：
将特征值按降序排列，选择主要的k个特征值，并归一化奇异向量。
5. 应用 SVD 进行降维或去噪：
根据需要选择合适的 k 值，将矩阵分解并重建降维后的结果。
8. 示例：文本降维
假设我们有一个包含 1000 个文档和 10000 个词汇的文本矩阵 A。为了进行降维，我们可以使用 SVD 来选择主要的10个特征词。
01. 计算协方差矩阵：
C = ( A T A ) ∣ ∣ A ∣ ∣ 2 C= \frac{(A^{T}A)}{||A||^{2}} C=∣∣A∣∣2(ATA)
02. 求解SVD
- 计算 C 的特征值和奇异向量。
- 按降序排列，选择前10个最大的特征值。
03. 构造 U 和 V T V^{T} VT：
- 将选定的特征值提取出来，并归一化奇异向量。
04. 矩阵分解与重建：
A ≈ U k Σ k V k T A \approx U_k Σ_kV_k^{T} A≈UkΣkVkT
其中， k = 10 k = 10 k=10。
05. 应用后的结果：
- 得到降维后的矩阵，可以用于进一步的文本分析或主题建模。
9. 总结
SVD 是一种强大的工具，能够有效地处理高维数据并提取主要特征。在实际应用中，选择合适的 k 值和理解特征值的意义对于结果至关重要。通过结合业务知识和实验验证，我们可以更好地利用 SVD 来优化数据分析流程。
附录
正交矩阵 (Orthogonal Matrix)
矩阵是一个由行和列组成的数据结构，每个元素通常是一个数字。在数学中，有很多种类型的矩阵，比如方阵、对角矩阵、正交矩阵等等。
正交矩阵是与旋转和反射操作有关的一个概念，在二维空间中，旋转一个向量可以通过一个2x2的矩阵来实现，而这个矩阵如果是一个正交矩阵，那么它不仅保持向量的长度，还保持它们之间的角度。正交矩阵的一个重要性质是其转置等于逆矩阵（即 T = T − 1 T = T^{-1} T=T−1)。这意味着如果我将一个正交矩阵转置后，再求它的逆矩阵，结果仍然是这个矩阵本身。这对理解旋转操作非常有用，因为旋转矩阵是正交矩阵的一种。
一个正交矩阵是一个平方矩阵，满足以下条件：
- 行向量互相垂直并且单位长度：
M T M = I M^{T}M = I MTM=I - 列向量也互相垂直并且单位长度：
M M T = I MM^{T}=I MMT=I
其中， M T M^{T} MT是矩阵 M M M的转置， I I I是单位矩阵 (单位矩阵（也称为恒等矩阵或身份矩阵）是一个方阵，也是一个正交矩阵，其中主对角线上的元素都是1，而其他位置的元素都是0。单位矩阵的主要特性是，当它与其他矩阵相乘时，不会改变这些矩阵的值。类似于数值运算中的数字1)。
正交矩阵在实际应用中的例子。例如，在图像处理中，旋转、平移或缩放图片可能需要使用矩阵变换，而正交矩阵可以帮助实现这些操作。此外，在机器学习和深度学习中，正交矩阵还用于归一化或标准化数据，以保持数据的均匀分布。
除了旋转，正交矩阵还可以表示反射、旋转缩放和其他几何变换。在图像处理中，不仅仅是旋转，有时候需要对图像进行反射或缩放以达到特定的效果。因此，理解正交矩阵的应用对于处理复杂图像问题非常有用。
特性：
- 可逆性: 由于正交矩阵满足 M T M = I M^{T}M=I MTM=I ，因此 M M M 是可逆的，并且其逆矩阵等于其转置，即： M T = M − 1 M^{T} = M^{-1} MT=M−1
- 保持向量的长度和角度： 正交矩阵用于旋转或反射几何体，其作用是保持向量的长度不变，并且只改变它们之间的夹角。
- 对称性： 一个正交矩阵通常是对称的，即 M = M T M = M^{T} M=MT。但这并不是必要条件，只有当旋转或反射操作对称时，矩阵才会是对称的。
示例
-
旋转矩阵： 对于角度 θ = 4 5 o θ=45^\text{o} θ=45o 的旋转，cos45°和sin45°都是 2 / 2 \sqrt{2}/2 2/2，所以旋转矩阵为：
( 2 / 2 − 2 / 2 2 / 2 2 / 2 ) \begin{pmatrix} \sqrt{2}/2 & -\sqrt{2}/2\\ \sqrt{2}/2 & \sqrt{2}/2\\ \end{pmatrix} (2/22/2−2/22/2)
这个矩阵满足 M T M = I M^{T}M=I MTM=I 并且用于将点绕原点旋转 θ θ θ 角度。 -
反射矩阵： 反射一个向量关于x轴的正交矩阵为：
M = ( 1 0 0 − 1 ) M = \begin{pmatrix} 1 & 0\\ 0 & -1\\ \end{pmatrix} M=(100−1)
这个矩阵满足 M T M = I M^{T}M=I MTM=I 表示反射操作。 -
单位矩阵： 单位矩阵也是一个正交矩阵，因为它没有改变向量的长度或方向。它对应于不进行任何旋转或反射操作。
应用
- 几何变换： 正交矩阵广泛应用于二维和三维几何中，用于实现旋转和反射操作。
- 计算点积和范数： 两个向量 a a a 和 b b b 的点积可以表示为：
a T M b = ∣ a ∣ ∣ b ∣ c o s θ a^{T}Mb=|a||b|cos\theta aTMb=∣a∣∣b∣cosθ
其中 θ \theta θ 是 a a a b b b之间的夹角。 - 正交基： 在线性代数中，正交矩阵用于构造正交基，使得向量之间互相垂直且长度单位化，便于简化计算和分析。
- 图像处理： 在图像处理中，正交矩阵用于旋转、反射或变换图像，以达到特定的效果，如调整图像的方向或对称性。
对角矩阵 (Diagonal Matrix)
对角矩阵是指在一个二维数组中，只有主对角线上的元素不为零，其余位置均为零的矩阵。例如，一个3x3的对角矩阵可以表示为：
A = ( a 0 0 0 b 0 0 0 c ) A= \begin{pmatrix} a & 0 & 0\\ 0 &b &0\\ 0 &0 &c\\ \end{pmatrix} A= a000b000c
可以记作 A = d i a g ( a , b , c ) A = diag(a, b, c) A=diag(a,b,c)。
这样的结构在数学和工程学中具有重要意义，常用于简化计算和分析。
import numpy as np
# 创建一个3x3的对角矩阵
diag_matrix = np.diag([1, 2, 3])
print(diag_matrix)
输出结果是：
[[1, 0, 0], [0, 2, 0], [0, 0, 3]]
# 加法：diag_matrix + np.array([[4, 5, 6], [7, 8, 9], [10, 11, 12]])
result = diag_matrix + np.array([[4, 5, 6], [7, 8, 9], [10, 11, 12]])
print(result)
输出结果是：
[[5, 5, 6], [7, 10, 9], [10, 11, 15]]
可以看到，非对角线元素被相应地加上了，这符合矩阵的定义。
对角矩阵在实际项目中的应用，例如在自然语言处理中，对角矩阵可以用于控制门控机制，只允许特定层之间的信息传递。这在模型压缩和加速方面有潜力。
协方差矩阵 (Covariance Matrix)
协方差矩阵是衡量多维度随机变量之间相关性的矩阵。对于一个给定的矩阵 X X X，其中每一列代表一个随机变量，协方差矩阵 C C C的计算步骤如下：
- 计算均值向量：首先计算每一列（即每个随机变量）的均值，形成一个均值向量 μ \mu μ。如果 X X X是一个 n n nx m m m的矩阵（有 m m m个变量，每个变量有 n n n个观测值），则 μ \mu μ是一个 m m m维的向量。
- 中心化数据：从矩阵 X X X的每一列中减去相应的均值，得到一个新的矩阵 Y Y Y，其中每一列均值为零。公式为 Y = X − 1 ⋅ μ T Y = X - 1· \mu^{T} Y=X−1⋅μT，其中 1 1 1是一个 n n n维的全 1 1 1向量。
- 计算协方差矩阵： 协方差矩阵 C C C可以计算为矩阵 Y Y Y的转置与 Y Y Y本身的乘积，再除以观测值的数量 n n n。公式为 C = 1 n Y T ⋅ Y C=\frac{1}{n}Y^{T}·Y C=n1YT⋅Y。如果希望得到无偏估计，则需要除以 n − 1 n-1 n−1。
需要注意的是，协方差矩阵是一个对称的矩阵，其对角线上的元素是各个变量的方差，而非对角线上的元素是不同变量之间的协方差。
假设有 n n n个变量，那么协方差矩阵就会是一个 n n n× n n n的矩阵，每一行和每一列代表两个变量之间的协方差值。但具体怎么计算呢？公式可能是这样： C o v ( X , Y ) = E [ ( X − μ X ) ( Y − μ Y ) ] Cov(X,Y) = E[(X−μ_X)(Y−μ_Y)] Cov(X,Y)=E[(X−μX)(Y−μY)]，其中 E E E表示期望， μ X μ_X μX和 μ Y μ_Y μY分别是变量 X X X和 Y Y Y的均值。
那么，如果要计算一个n个变量的协方差矩阵，是不是需要先计算每个变量的均值，然后计算所有两两之间的协方差，再填入矩阵中？听起来有点复杂，特别是当变量数量多的时候，这样做会不会很麻烦？
协方差矩阵在数据分析中的应用，比如用来衡量变量之间的相关性。比如说，在股票市场分析中，价格和利率可能有一定的正相关，那么他们的协方差就会是正数。如果有负相关，则为负数。这意味着，如果利率上升，股票价格可能会下跌。
但是协方差矩阵有什么局限性吗？相关性的问题，即协方差矩阵不能完全反映变量之间的独立性。或者说，它只能衡量线性关系，而忽略非线性关系。这意味着，如果两个变量之间存在复杂的非线性关系，协方差可能并不能很好地捕捉到这种关系。
此外，协方差矩阵可以用来计算方差矩阵。好像是这样，因为协方差矩阵 C C C和单位矩阵 I I I的乘积等于方差矩阵 Σ。也就是说， C C C × I I I = Σ。也就是说， C C C × I I I = Σ 这可能对后续的学习有帮助，比如理解方差和标准差之间的关系。
比如，选择几个简单的变量，计算它们的协方差，然后看看结果如何解释变量之间的相关性。
假设有两个变量 X X X和 Y Y Y，每个变量都有十个观测值。先求出它们的均值，然后按照公式计算每一对 ( X i − μ X ) ( Y i − μ Y ) (X_i - μ_X)(Y_i - μ_Y) (Xi−μX)(Yi−μY)，取平均得到协方差 C o v ( X , Y ) Cov(X,Y) Cov(X,Y)。如果这个值是正的，说明两个变量正相关；负的则相反。
像SVM（支持向量机）就使用了协方差矩阵来计算类别间的距离。
这个例子中， X X X 是一个 3 3 3x 2 2 2的矩阵，表示有2个变量，每个变量有3个观测值。最终得到的 C C C 是这2个变量的协方差矩阵。
import numpy as np
# 假设X是一个包含数据的矩阵
X = np.array([[1, 2], [3, 4], [5, 6]])
# 计算均值向量
mu = np.mean(X, axis=0)
# 中心化数据
Y = X - mu
# 计算协方差矩阵
C = np.dot(Y.T, Y) / (X.shape[0] - 1)
print("协方差矩阵:\n", C)
求解特征值与奇异向量
矩阵有特征值和特征向量的概念。特征值是指在矩阵作用下，只沿着某个方向缩放的因子，而特征向量则是与这些因子对应的非零向量。
特征值是与方阵 A A A相关的一个标量，描述了矩阵的作用在某些特定方向上的伸缩比例[1]。而奇异向量则是通过奇异值分解(SVD) 得到的矩阵 A A A的左奇异向量和右奇异向量[4][5]。
在奇异值分解中，如果 A A A 是一个 m m mx n n n 的矩阵，通过计算 A T A A^{T}A ATA 和 A A T AA^{T} AAT 的特征向量，可以得到矩阵 A A A 的右奇异向量矩阵 V V V 和左奇异向量矩阵 U U U[4][5]。具体来说， A T A A^{T}A ATA 的特征向量组成了 U U U 矩阵，而 A A T AA^{T} AAT 的特征向量组成了 U U U 矩阵[4][5]。
通过这些奇异向量和对应的奇异值，我们可以将矩阵 A A A 分解为三个矩阵，即 A = U A=U A=UΣ V T V^{T} VT，其中 Σ 是一个对角矩阵，其对角线上的元素是矩阵 A A A 的奇异值[4][5]。因此，求解特征值与奇异向量的过程实际上包括了对 A T A A^{T}A ATA 和 A A T AA^{T} AAT 进行特征分解，然后得到矩阵 A A A 的奇异值和对应的左、右奇异向量[4][5]。
步骤 1：选择合适的矩阵和数据类型
为了实现这些计算，首先需要选择一个合适的矩阵。通常，可以使用已知的小矩阵进行测试，以验证算法是否正确工作。例如：
import numpy as np
# 创建一个随机的 2x3 矩阵
A = np.random.randn(2, 3)
步骤 2：计算特征值和特征向量
方法一：直接求解特征方程
特征值可以通过求解矩阵的特征方程 ( ∣ A − λ I ∣ = 0 |A - \lambda I| = 0 ∣A−λI∣=0 ) 得到。
def eigenvalues_and_vectors(A):
n = np.shape(A)
lambda_max = np.linalg.eigenvalue(A)
# 计算特征向量，通常使用相对范数的条件数
condition_number = np.linalg.condition_number(A, relative=True)
v = np.random.randn(n[0], 1) # 随机生成一个特征向量
# 调整特征向量使其满足 A*v = lambda_max * v
while np.abs(np.dot(A, v) - (lambda_max * v)) > 1e-6:
v = np.random.randn(n[0], 1)
return lambda_max, v
方法二： 使用特征分解法
此方法适用于实数矩阵，通过将矩阵分解为 ( A = P λ P − 1 A = P \lambda P^{-1} A=PλP−1 )，其中 ( P P P ) 是矩阵的特征向量组成的矩阵，( λ \lambda λ ) 是对应的特征值。
def eigenvalues_and_vectors_2(A):
n = np.shape(A)
# 求特征值和特征向量
_, eigenvectors = np.linalg.eig(A)
return eigenvectors.T, np.linalg.eigval(A)
步骤 3：进行奇异值分解（SVD）
使用 NumPy 的 np.linalg.svd 函数来进行 SVD。
def svd(A):
U, sigma, V = np.linalg.svd(A)
return U, sigma, V.T
# 假设 A 是一个实数矩阵，计算其奇异值和奇异向量
U, sigma, VT = svd(A)
步骤 4：验证结果
为了验证计算是否正确，可以使用已知的小矩阵来测试。例如，对于单位矩阵：
A = np.eye(2)
U, sigma, VT = svd(A)
# 验证 U * Sigma * VT 是否等于 A
if np.allclose(A, U*sigma*VT):
print("SVD 正确")
else:
print("SVD 出错")
步骤 5：处理特殊情况
在实际应用中，可能会遇到非对角矩阵或高维矩阵的情况。需要注意的是，计算特征值和奇异向量的时间复杂度随着矩阵维度的增加而显著提高，因此选择合适的算法（如对称矩阵专用算法）可以优化性能。
步骤 6：优化代码
为了提高计算效率，可以尝试以下优化方法：
- 使用更高效的数据类型：尽量避免浮点数运算，选择适当的精度。
- 采用并行处理：利用多核 CPU 或 GPU 加速计算。
- 简化矩阵结构：通过矩阵分解或降维技术减少计算复杂度。
步骤 7：应用于实际问题
根据具体需求，将这些计算结果应用于实际的数据分析中。例如，在图像处理中，特征向量可以用来进行主成分分析（PCA），而奇异值则可以用于去噪或压缩。
Reference
[1]矩阵的奇异值和特征值的区别与联系 - CSDN博客
[2]【线性代数】通俗的理解奇异值以及与特征值的区别，还有 …
[3]深度理解矩阵的奇异值，特征值 - CSDN博客
[4]这是我见过最通俗易懂的SVD（奇异值分解）算法介绍
[5]奇异值分解（SVD）方法求解最小二乘问题的原理 - 一抹 …