向量运算、矩阵运算、线性变换相关运算

一、向量核心运算

1. 向量加法与数乘（线性组合基础）

• 定义：
  • 加法：若 a=(a1​,a2​,…,an​)，b=(b1​,b2​,…,bn​)，则 a+b=(a1​+b1​,a2​+b2​,…,an​+bn​)。
  • 数乘：若 k 为标量，则 ka=(ka1​,ka2​,…,kan​)。
• 性质：满足交换律、结合律，构成向量空间的基本运算。
• 应用：向量线性组合（如基向量表示任意向量）、物理中力的合成与分解。

2. 点积（内积，Dot Product）

• 定义：a⋅b=∑i=1n​ai​bi​=∥a∥∥b∥cosθ（θ 为夹角）。
• 性质：判断向量正交（点积为 0）、计算投影（如 a 在 b 上的投影为 ∥b∥a⋅b​）。
• 应用：机器学习中的余弦相似度、物理学功的计算（W=F⋅s）。

3. 叉积（外积，Cross Product）

• 定义：仅适用于 3 维向量，a×b 是一个垂直于 a 和 b 的向量，模长为 ∥a∥∥b∥sinθ，方向由右手定则确定。
• 性质：a×b=−b×a，模长等于以 a,b 为邻边的平行四边形面积。
• 应用：计算机图形学中判断多边形朝向、计算扭矩（τ=r×F）。

二、矩阵核心运算

1. 矩阵加减法与数乘

• 定义：
  • 加减法：同型矩阵对应元素相加减（如 A+B=[aij​+bij​]）。
  • 数乘：kA=[kaij​]（k 为标量）。
• 性质：满足分配律、结合律，构成矩阵空间的线性运算。

2. 矩阵乘法（核心难点与重点）

• 定义：若 A∈Rm×n，B∈Rn×p，则 C=AB∈Rm×p，其中 cij​=∑k=1n​aik​bkj​。
• 性质：
  • 不满足交换律（AB=BA），但满足结合律（(AB)C=A(BC)）和分配律。
  • 单位矩阵 I 满足 AI=IA=A。
• 应用：线性变换的复合（如旋转 + 缩放变换）、神经网络前向传播（y=Wx+b）。

3. 矩阵转置（Transpose）

• 定义：AT 的行列互换（(AT)ij​=Aji​）。
• 性质：(A+B)T=AT+BT，(AB)T=BTAT。
• 应用：对称矩阵定义（A=AT）、最小二乘法中构造正规方程（ATAx=ATb）。

4. 矩阵求逆（Inverse）

• 定义：若矩阵 A 可逆（非奇异），则存在 A−1 使得 AA−1=A−1A=I。
• 条件：det(A)=0（行列式非零）。
• 性质：(AB)−1=B−1A−1，(A−1)T=(AT)−1。
• 应用：解线性方程组（Ax=b⇒x=A−1b）、变换矩阵的逆变换（如逆旋转矩阵）。

5. 行列式（Determinant）

• 定义：方阵 A 的行列式记作 det(A)，几何意义为矩阵变换后空间体积的缩放因子。
• 性质：
  • det(AB)=det(A)det(B)，det(AT)=det(A)。
  • A 可逆当且仅当 det(A)=0。
• 应用：判断矩阵可逆性、计算逆矩阵（伴随矩阵法）、多重积分换元中的雅可比行列式。

三、线性变换相关核心运算

1. 特征值与特征向量（Eigenvalue & Eigenvector）

• 定义：若存在非零向量 v 和标量 λ 满足 Av=λv，则 λ 为特征值，v 为特征向量。
• 求解：通过特征方程 det(A−λI)=0 计算 λ，再代入求 v。
• 性质：
  • 矩阵可对角化的充要条件是存在 n 个线性无关的特征向量。
  • 特征值乘积等于行列式（∏λi​=det(A)），和等于迹（∑λi​=tr(A)）。
• 应用：
  • 主成分分析（PCA）中通过协方差矩阵的特征值分解提取主成分。
  • 微分方程求解（如线性系统的稳定性分析）、矩阵幂运算简化（An=PΛnP−1）。

2. 奇异值分解（SVD, Singular Value Decomposition）

• 定义：对任意矩阵 A∈Rm×n，可分解为 A=UΣVT，其中 U,V 为正交矩阵，Σ 为对角阵（对角线元素为奇异值，非负）。
• 性质：奇异值是特征值的推广，最大奇异值衡量矩阵的 “范数”（变换的最大缩放因子）。
• 应用：
  • 矩阵压缩（保留大奇异值近似矩阵）、推荐系统（降维后计算用户 - 物品相似度）。
  • 图像处理中的去噪（低秩矩阵恢复）、线性方程组的最小二乘解（伪逆 A+=VΣ+UT）。

四、核心运算对比与应用场景总结

运算类型	关键性质	典型应用场景
向量点积	标量结果，度量夹角与投影	余弦相似度、物理功计算
矩阵乘法	非交换，线性变换复合	神经网络、图形变换矩阵
矩阵求逆	仅方阵可逆，解线性方程组	线性回归参数求解、逆变换计算
特征值分解	方阵分解为特征向量与对角阵	PCA、动态系统分析
奇异值分解	任意矩阵分解，鲁棒性强	矩阵降维、数据压缩

五、编程实现示例（Python + NumPy）

1. 矩阵乘法与逆运算

python

运行

import numpy as np

# 矩阵乘法
A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])
C = np.dot(A, B)  # 等价于 A @ B
print("矩阵乘法结果：\n", C)

# 矩阵求逆
A_inv = np.linalg.inv(A)
print("A的逆矩阵：\n", A_inv)

# 解线性方程组 Ax = b
b = np.array([1, 2])
x = np.linalg.solve(A, b)
print("方程组解：", x)

2. 特征值分解与 SVD

python

运行

# 特征值分解
eigenvalues, eigenvectors = np.linalg.eig(A)
print("特征值：", eigenvalues)
print("特征向量：\n", eigenvectors)  # 每列为一个特征向量

# 奇异值分解
U, s, V = np.linalg.svd(A)
print("U矩阵：\n", U)
print("奇异值：", s)
print("V^T矩阵：\n", V)

总结

线性代数的核心运算以 “向量 - 矩阵 - 变换” 为逻辑主线：

• 向量运算构建空间基础（线性组合、方向关系）；
• 矩阵运算实现变换的数值化（乘法复合变换、逆运算还原变换）；
• 特征分解与 SVD则从 “变换本质” 出发，将矩阵拆解为更简洁的特征分量，揭示数据的内在结构。
  这些运算不仅是数学理论的核心，更是机器学习、信号处理、工程建模等领域的底层工具，理解其几何意义与代数性质是应用的关键。