对比与详解：QR 分解、奇异值分解（SVD）与 Schur 分解及其他可产生正交基的方法

对比与详解：QR 分解、奇异值分解（SVD）与 Schur 分解及其他可产生正交基的方法

在数值线性代数与矩阵分析中，常见的能产生正交（或酉）矩阵的分解方法包括 QR 分解、奇异值分解（SVD）、Schur 分解 等。这些方法虽然都会产生一个（或多个）正交矩阵，但它们在适用范围、分解形式、计算重点和应用场景等方面各不相同。本文将尽量对这些分解方法进行系统地介绍与对比。

---

1. 正交矩阵（Orthogonal / Unitary）与正交基

1.1 定义

• 正交矩阵（Orthogonal Matrix）
  在实数域 $\mathbb{R}$ 上，若 $Q$ 是一个 $n\times n$ 矩阵并满足
  $$Q^{T}Q=I⟺Q^T=Q^{-1},$$
  则称 $Q$ 为正交矩阵。其列向量（和行向量）彼此正交且范数为 1。

• 酉矩阵（Unitary Matrix）
  在复数域 $\mathbb{C}$ 上，正交矩阵的概念推广为酉矩阵，若 $U$ 满足
  $$U^{\ast }U=I⟺U^{\ast }=U^{-1},$$
  则称 $U$ 为酉矩阵。这里 $U^{\ast }$ 表示复共轭转置（又记作 $U^{†}$ 或 ${\overline{U}}^T$）。

在很多文献中，若不特别指明实数或复数，我们常将“正交矩阵”和“酉矩阵”都笼统地称为“正交（或酉）矩阵”。

1.2 正交（酉）基

一个 $n$ 维向量空间（实数或复数）中，一组向量若两两正交并且每个向量范数为 1，则称这组向量为一组 标准正交（正交规范）基。在数值线性代数中，经常希望通过某种分解把矩阵关联到一个正交（或酉）矩阵，以获得正交基的好处，比如数值稳定性、简化运算、方便几何解释等。

---

2. QR 分解（QR Decomposition）

2.1 定义与形式

对于一个 $m\times n$ 的实矩阵 $A$（假设 $m\ge n$），QR 分解是指将 $A$ 分解为
$$A=QR,$$
其中：

1. $Q$ 是一个 $m\times m$ 的正交矩阵，或者在有些场合可取 $m\times n$ 的“薄”正交矩阵，使得其列向量相互正交。
2. $R$ 是一个 $m\times n$ 的上三角矩阵（如果取的是薄形式，则可视为前 $n\times n$ 块为上三角，剩余行为 0）。

在更常见的实用形式中，若 $A$ 列满秩，则可写为：
$$A=Q\left[\begin{array}{c}R\\ 0\end{array}\right],$$
其中 $Q$ 为 $m\times m$ 的正交矩阵，$\left[\begin{array}{c}R\\ 0\end{array}\right]$ 则是 $m\times n$ 矩阵，只有前 $n\times n$ 区域为上三角 $R$ 而下面为 0。

2.2 利用正交基的思路

由于 $Q$ 的列向量构成一个正交基，因此在 QR 分解中，

• 矩阵 $Q$ 的前 $n$ 列可作为 $A$ 列空间（$\mathrm{Col}(A)$）的正交基。
• $R$ 则为上三角系数矩阵，包含了对应的线性组合权重。

2.3 Gram-Schmidt 过程（一个常见构造 QR 的方法）

一个经典的构造 QR 分解的思路是 Gram-Schmidt 正交化。令矩阵 $A=[a_1,a_2,\dots ,a_n]$ 的列为 $\{a_1,a_2,\dots ,a_n\}$，我们依次构造一组正交向量 $\{{\hat{u}}_1,{\hat{u}}_2,\dots ,{\hat{u}}_n\}$，然后归一化得到正交规范向量 $\{q_1,q_2,\dots ,q_n\}$。
具体算法如下（经典形式）：

1. 初始步：
   $${\hat{u}}_1=a_1,q_1=\frac{{\hat{u}}_1}{\Vert {\hat{u}}_1\Vert }.$$

2. 第 $k$ 步 ($2\le k\le n$)：
   $${\hat{u}}_k=a_k-\sum _{j=1}^{k-1}⟨a_k,q_j⟩q_j$$
   $$q_k=\frac{{\hat{u}}_k}{\Vert {\hat{u}}_k\Vert }.$$

于是得到 $Q=[q_1,q_2,\dots ,q_n]$，而上三角矩阵 $R$ 的元素可由内积求得：
$$R_{jk}=⟨a_k,q_j⟩,(1\le j\le k\le n).$$

在数值算法中，更稳定常用 修正 Gram-Schmidt 或 Householder 变换、Givens 旋转 等方法来实现 QR 分解。

2.4 主要用途与特点

1. 求解最小二乘问题：若要解 ${\min }_x\Vert Ax-b\Vert$，做 $A=QR$ 后，可将问题转化为等价的 ${\min }_x\Vert Rx-Q^{T}b\Vert$，再使用回代求解，数值稳定性良好。
2. 正交投影：$Q$ 提供的列空间自然地定义了投影算子 $P=Q{Q}^T$。
3. QR 算法：特征值算法中会迭代使用 QR 分解（“QR 迭代”）来逼近特征值。
4. 适用于矩形矩阵，对任何列满秩的 $m\times n$ 矩阵都能做分解；但 并不 直接给出特征值或奇异值信息。

---

3. 奇异值分解（SVD, Singular Value Decomposition）

3.1 定义与形式

奇异值分解是最具“普适性”的分解之一。对 任意 $m\times n$ 矩阵 $A$，无论是否方阵，都存在 SVD。形式如下（在实数域）：
$$A=U\Sigma V^T,$$
在复数域则为
$$A=U\Sigma V^{\ast },$$
其中：

• $U$ 是 $m\times m$ 的正交（或酉）矩阵，列向量 $\{u_i\}$ 称为 左奇异向量。
• $V$ 是 $n\times n$ 的正交（或酉）矩阵，列向量 $\{v_i\}$ 称为 右奇异向量。
• $\Sigma$ 是 $m\times n$ 的对角形（非方时可理解为对角块带 0），对角线上的元素 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge 0$ 称为 奇异值。

举例：若 $m\ge n$，则
Σ = [ σ 1 0 σ 2 ⋱ σ n 0 ] m × n . \Sigma = \begin{bmatrix} \sigma_1 & & & 0 \\ & \sigma_2 & & \\ & & \ddots & \\ & & & \sigma_n \\ & & & 0 \\ \end{bmatrix}_{m\times n}. Σ= ​σ1​​σ2​​⋱​0σn​0​ ​m×n​.

3.2 从特征值角度理解 SVD

• 右奇异向量 $v_i$ 是 $A^{T}A$ 的特征向量：
  $$A^{T}A{v}_i={\sigma }_i^2{v}_i.$$
• 左奇异向量 $u_i$ 是 $A{A}^T$ 的特征向量：
  $$A{A}^T{u}_i={\sigma }_i^2{u}_i.$$
• 对角线上的 ${\sigma }_i$ 即为 $\sqrt{{\lambda }_i}$，这里 ${\lambda }_i$ 是 $A^{T}A$（或 $A{A}^T$）的非负特征值，故称“奇异值”。

3.3 获得正交基与主要用途

• 双重正交基
  SVD 同时给出两组正交基：$U$ 的列向量与 $V$ 的列向量分别是 ${\mathbb{R}}^m$ 与 ${\mathbb{R}}^n$ 中的正交基。它们将矩阵 $A$ 在行空间、列空间上的结构都描述得很清晰。

• 低秩近似
  若保留前 $k$ 个最大的奇异值及对应的左右奇异向量，就可得最优（在 2 范数或 Frobenius 范数意义下）秩-$k$ 近似：
  $$A\approx U_k{\Sigma }_k{V}_k^T,$$
  其中 ${\Sigma }_k$ 仅保留前 $k$ 个奇异值，对应地 $U_k$ 和 $V_k$ 也取相应列。

• 主成分分析（PCA）
  数据分析中常把数据矩阵做奇异值分解，用最大奇异值对应的方向来做主成分提取。

• 伪逆（Moore-Penrose 逆）
  若 $A=U\Sigma V^T$，则
  $$A^{+}=V{\Sigma }^{+}{U}^T,$$
  其中 ${\Sigma }^{+}$ 是将 $\Sigma$ 中的非零对角元素取倒数并转置得到的矩阵。

3.4 特点对比

• 计算代价相对较大：SVD 需要大约 $O(mn\min (m,n))$ 的运算量（具体取决于算法和矩阵大小）。
• 强大的分析工具：同时提供奇异值谱、行列空间的正交基；几乎是最通用的分解方法。
• 适用任何矩阵：无论方阵、矩形、有无满秩，都能做 SVD。

---

4. Schur 分解（Schur Decomposition）

4.1 定义与形式

对于 任意 $n\times n$ 方阵 $A$（在复数域 $\mathbb{C}$ 上），存在一个 酉矩阵（unitary） $Q$ 使得
$$Q^{\ast }AQ=T,$$
其中 $T$ 是一个 上三角矩阵（称为 Schur 形式）。这即是 Schur 定理。在实数域上若强行做 Schur 分解，则会引入 2×2 块去表示复共轭特征值对，一般在复数域上表述更简洁。

4.2 特征值与上三角元素的关系

Schur 分解的一个关键点在于，上三角矩阵 $T$ 的主对角线元素就是 $A$ 的特征值：
$$T_{ii}={\lambda }_i,$$
故而 Schur 分解在特征值分析中格外重要。进一步，若 $A$ 可对角化，则可把 $T$ 化为对角矩阵（这时就退化为普通的特征分解）；若 $A$ 不是可对角化的，也至少能保证上三角形式。

4.3 获得正交（酉）基与应用

• 正交（酉）基
  Schur 分解告诉我们，存在一个酉矩阵 $Q$ 使得 $A$ 在这个基下为上三角 $T$。于是，$Q$ 的列向量构成一组正交（酉）基。

• 特征值算法（QR 迭代）
  在计算特征值时，往往先把 $A$ 化为 Hessenberg 矩阵（或上三角），然后反复做 QR 分解迭代，最终收敛到 Schur 形式，从而提取特征值。

• 只适用于方阵
  Schur 分解仅针对方阵，而且一般在复数域上最自然。

---

5. 其他可能产生正交矩阵的分解

5.1 特征分解（Eigendecomposition）

• 若 $A$ 是 对角化 的 $n\times n$ 矩阵，则可写
  $$A=PD{P}^{-1},$$
  其中 $D$ 为特征值对角矩阵，$P$ 的列为特征向量。
• 若 $A$ 进一步是 实对称矩阵（或复 Hermitian 矩阵），则可以用 正交（酉）矩阵 对角化：
  $$A=Q\Lambda Q^T(\text{或 }A=Q\Lambda Q^{\ast },\text{若是 Hermitian}),$$
  此时 $Q$ 提供的即是一组正交特征向量。

5.2 极分解（Polar Decomposition）

对任何矩阵（方阵或矩形），都可写成
$$A=QP,$$
其中 $Q$ 为正交（或酉）矩阵，$P$ 为对称正定（或 Hermitian 正定）矩阵。
实际上，极分解与 SVD 有密切关系：若 $A=U\Sigma V^T$ 是其 SVD，则可令
$$Q=U{V}^T,P=V\Sigma V^T,$$
这样也能得到 $A=QP$。此时 $Q$ 同样提供一个正交基。

5.3 Hessenberg 分解

任何 $n\times n$ 方阵都可通过相似变换化为 Hessenberg 形式（只有主对角线下方一条带可非零，其余在更下的部分为 0）。在数值算法里，这个相似变换通常也可选为正交矩阵积，因此也在一定程度上“产生了”一个正交变换。

---

6. 各分解的本质差异与对比

下表对 QR、SVD、Schur 分解作一个概括性比较，同时也提及特征分解、极分解等：

分解	适用范围	分解形式	是否一定方阵	正交(酉)矩阵的作用	主要关注点	计算复杂度
QR 分解	任意 $m\times n$ 矩阵	$A=QR$ (或薄形式 $Q[R;0]$)	否	$Q$ 的列为正交基	最小二乘、正交化、数值稳定	$O(m{n}^2)$ 量级(若$m\ge n$)
SVD	任意 $m\times n$ 矩阵	$A=U\Sigma V^T$	否	$U$、$V$ 同为正交基（行/列空间）	奇异值谱、低秩近似、PCA、伪逆	$O(mn\min (m,n))$
Schur 分解	任意 $n\times n$ 方阵(复数)	$Q^{\ast }AQ=T$ (上三角)	是	$Q$ 列向量为酉基；$T$ 对角即特征值	特征值分析、特征值算法	$O(n^3)$ (迭代实现)
特征分解	可对角化方阵 / 对称(或Herm.)	$A=PD{P}^{-1}$；对称时 $A=Q\Lambda Q^T$	是	对称(或Herm.)时可用正交(酉)对角化	特征值、对称矩阵正交特征向量	一般也是 $O(n^3)$
极分解	任意矩阵(方阵或矩形)	$A=QP$, $P$ 正定	否或是	$Q$ 为正交/酉矩阵	“幅角-模”分离，与 SVD 密切相关	一般通过 SVD 获得

6.1 正交基的不同之处

• QR：只在列空间（或行空间）产生一组正交基 ( $Q$ )，没有奇异值或特征值信息。
• SVD：同时在行空间与列空间各找一组正交基 ( $U$ 与 $V$ )，并带有有序奇异值 ${\sigma }_i$。
• Schur：专注于方阵特征值分析，用酉矩阵 $Q$ 将 $A$ 化为上三角 $T$。对角线即特征值。
• 特征分解(对称矩阵)：同样能得到正交基，并且可把矩阵变为对角形式。
• 极分解：将矩阵分解为一个正交/酉因子与一个对称正定因子。

6.2 应用场景总结

1. 最小二乘 / 解方程 / 正交化
   $\to$ QR 分解最常用、效率高；SVD 也可用但代价更大。
2. 降维 / PCA / 最优近似 / 谱分析
   $\to$ SVD 是核心工具。
3. 特征值分析 / 数值特征值算法
   $\to$ Schur 分解、特征分解、(以及内部用的 QR 迭代 等)。
4. 对称矩阵 / Hermitian 矩阵
   $\to$ 直接使用正交(或酉)对角化（也是 Schur 分解的特例）。
5. 任何矩阵的进一步分解
   $\to$ 极分解可视作 SVD 的一种延伸。

---

7. 更详细的公式与推导补充

本节列出一些在实现或理解这些分解时常见的重要公式或推导片段。

7.1 Householder 变换（用于 QR 消元）

在实际数值算法中，为了把矩阵 $A$ 转为上三角，可以迭代地构造一系列 Householder 反射：
$$H_k=I-2\frac{w_k{w}_k^T}{w_k^T{w}_k},$$
其中 $w_k$ 是经过精心选择的向量，使得用 $H_k$ 去乘矩阵某一列，可把特定位置以下的元素变为 0。然后通过有限步反射，就能把 $A$ 化为 $R$，最后所有这些反射之积即为 $Q^T$（或 $Q$）：

$$Q=(H_1{H}_2\cdots H_n{)}^T.$$

7.2 SVD 中的特征值关系

记 $A$ 是 $m\times n$，令
$$A^{T}A\in {\mathbb{R}}^{n\times n},A{A}^T\in {\mathbb{R}}^{m\times m}.$$
则 $A^{T}A$ 和 $A{A}^T$ 的非零特征值完全相同，并且它们都非负。记这些公共特征值为 ${\sigma }_1^2,{\sigma }_2^2,\dots ,{\sigma }_r^2$，其中 $r=\mathrm{rank}(A)$。选对应的特征向量为 $v_i$（右奇异向量）与 $u_i$（左奇异向量），即
$$A^{T}A{v}_i={\sigma }_i^2{v}_i,A{A}^T{u}_i={\sigma }_i^2{u}_i.$$
经适当归一化可使得
$$A{v}_i={\sigma }_i{u}_i,$$
再将所有 $\{u_i\},\{v_i\}$ 扩展成一组完整正交基，就能组装出 $U$ 和 $V$；$\Sigma$ 则在对角位置放 ${\sigma }_i$。

7.3 Schur 分解与特征多项式

Schur 分解可视为对“任意方阵都可相似三角化（在复数域上）”这一定理的数值实现。对于 $A\in {\mathbb{C}}^{n\times n}$，存在可逆的酉矩阵 $Q$，使
$$Q^{\ast }AQ=T,$$
$T$ 上三角（又称 Schur 形式），且对角元就是 $A$ 的特征值。若还需要分块对角 2×2 形式处理实数情况下的共轭复数对，则可用 实 Schur 分解。

7.4 特征分解（对称矩阵）与正交基

如果 $A$ 是实对称矩阵，则有
$$A=Q\Lambda Q^T,$$
其中 $\Lambda$ 是实对角，$Q$ 正交。每个列向量 $q_i$ 对应一个特征值 ${\lambda }_i$，即
$$A{q}_i={\lambda }_i{q}_i,{\lambda }_i\in \mathbb{R}.$$
这是 Schur 分解的特例，因为实对称矩阵 Schur 分解就是对角实数矩阵（无需上三角带非对角元）。

---

8. 总结

1. QR 分解

   • 形式：$A=QR$。
   • 优点：适合解最小二乘、实现快速正交化；算法简单、数值稳定；适用于矩形矩阵。
   • 局限：不直接提供特征值或奇异值。

2. 奇异值分解（SVD）

   • 形式：$A=U\Sigma V^T$。
   • 优点：适用于任何矩阵；能同时得到行/列空间的正交基；奇异值序列给出矩阵的全局谱信息；用于最佳低秩近似、PCA、伪逆等。
   • 局限：计算量相对大，特别是大规模数据时。

3. Schur 分解

   • 形式：$Q^{\ast }AQ=T$（方阵，$T$ 上三角）。
   • 优点：主要用于特征值分析、特征值算法内核；对角元直接是特征值。
   • 局限：仅方阵；不直接给出奇异值；通常在复数域描述最简洁。

所有这几类分解在数值代数中都极为重要，它们从不同视角揭示了矩阵结构，且都能在某种意义上“产生活用的正交基”。根据具体需求（最小二乘、降维、特征值、正交化等），我们会选择不同的分解方法。

---