【线性代数与矩阵论】范数理论

范数理论

2023年11月16日

---

---

1. 向量的范数

向量的长度也称为向量的二范数

[!quote]- 长度的定理
设 $x,y,z\in {\mathbb{C}}^n,\lambda \in \mathbb{C}$

1. 非负性：长度大于等于 $0$ ，仅当向量为 $0$ 时取等。
2. 齐次性：$||\lambda x||=|\lambda |\cdot ||x||$。
3. 三角不等式性：$||x+y||\le ||x||+||y||$。

定义 设 $||\cdot ||$ 是 ${\mathbb{C}}^n$ 上的一个泛函，满足

1. 正定性： $\forall x\in {\mathbb{C}}^n$ ， $||x||\ge 0$ ，且 $||x||=0$ 的充要条件是 $x=0$
2. 齐次性： $\forall \lambda \in \mathbb{C}$ ， $x\in {\mathbb{C}}^n$ ， $||\lambda x||=|\lambda |\cdot ||x||$
3. 三角不等式性： $\forall x,y\in {\mathbb{C}}^n$ ， $||x+y||\le ||x||+||y||$

则称 $||\cdot ||$ 是 ${\mathbb{C}}^n$ 上的一个向量范数。

定理 对任意 $x,y\in {\mathbb{C}}^n$ ，有

1. $||-x||=||x||$
2. $|||x||-||y|||\le ||x-y||$

---

2. 常用向量范数

设 $x\in {\mathbb{C}}^n$ ，定义

• 向量的1范数：
  $$||x|{|}_1=\sum _{i=1}^n|x_i|$$
  为每个分量的绝对值之和。
• 向量的2范数：
  $$||x|{|}_2=\sqrt{\sum _{i=1}^n|x_i{|}^2}$$
  长度，欧几里得空间中的距离。
• 向量的 $p$ 范数：
  $$||x|{|}_p=(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}},1\le p\le +\infty$$
• 向量的无穷范数（ $p\to \infty$ ）
  $$||x|{|}_{\infty }=\underset{1\le i\le n}{\max }|x_i|$$
  向量分量中绝对值最大的一个。

如果 $A\in {\mathbb{C}}^{n\times n}$ 是Hermit正定矩阵，则
$$||x|{|}_A=\sqrt{x^{\mathrm{H}}Ax},x\in {\mathbb{C}}^n$$
也是 ${\mathbb{C}}^n$ 上的向量范数。

---

3. 向量范数的等价性

定义 设 $||\cdot |{|}_{v1}$ 与 $||\cdot |{|}_{v2}$ 是 ${\mathbb{C}}^n$ 上两个向量范数，如果存在常数 $c_1,c_2>0$ 使得 $\forall x\in {\mathbb{C}}^n$ 有
$$c_1||x|{|}_{v1}\le ||x|{|}_{v2}\le c_2||x|{|}_{v1}$$
则称向量范数 $||\cdot |{|}_{v1}$ 与 $||\cdot |{|}_{v2}$ 等价。

理解 向量空间所有向量的 $||\cdot |{|}_{v2}$ 范数不会小于其 $||\cdot |{|}_{v1}$ 范数的 $c_1$ 倍，也不会大于其 $||\cdot |{|}_{v1}$ 范数的 $c_2$ 倍。同一个向量的两个范数要么同时大，要么同时小，但不一定成比例。

向量范数的等价实际上是等价关系

1. 自身性：所有范数与自己等价
2. 对称性：若 $||\cdot |{|}_{v1}$ 与 $||\cdot |{|}_{v2}$ 等价，则 $||\cdot |{|}_{v2}$ 与 $||\cdot |{|}_{v1}$ 等价
3. 传递性：若 $||\cdot |{|}_{v1}$ 与 $||\cdot |{|}_{v2}$ 等价， $||\cdot |{|}_{v3}$ 与 $||\cdot |{|}_{v2}$ 等价，则 $||\cdot |{|}_{v1}$ 与 $||\cdot |{|}_{v3}$ 等价

定理 ${\mathbb{C}}^n$ 上的所有向量范数等价。
向量范数在向量序列极限概念上的应用
$$\underset{k\to \infty }{\lim }{x}^{(k)}=x⟺\underset{k\to \infty }{\lim }||x^{(k)}-x||=0$$

---

4. 矩阵的范数

定义 设 $||\cdot ||$ 是 ${\mathbb{C}}^{n\times n}$ 上的一个泛函，满足

1. 正定性： $\forall A\in {\mathbb{C}}^{n\times n}$ ， $||x||\ge 0$ ，且 $||x||=0$ 的充要条件是 $x=0$
2. 齐次性： $\forall \lambda \in \mathbb{C}$ ， $A\in {\mathbb{C}}^{n\times n}$ ， $||\lambda A||=|\lambda |\cdot ||A||$
3. 三角不等式性： $\forall A,B\in {\mathbb{C}}^{n\times n}$ ， $||A+B||\le ||A||+||B||$
4. 乘积不等式（相容性）： $\forall A,B\in {\mathbb{C}}^{n\times n}$ ， $||AB||\le ||A||\cdot ||B||$

则称 $||\cdot ||$ 是 ${\mathbb{C}}^{n\times n}$ 上的一个矩阵范数。

---

5. 常用的矩阵范数

设 $A=(a_{ij})\in {\mathbb{C}}^{n\times n}$ ，定义

• 矩阵的 $m_1$ 范数
  $$||A|{|}_{m1}=\sum _{i=1}^n\sum _{j=1}^n|a_{ij}|$$
• 矩阵的 $F$ 范数
  $$||A|{|}_F=(\sum _{i=1}^n\sum _{j=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}=\sqrt{\text{tr}(A^{\mathrm{H}}A)}$$
  为每个元素平方再求和最后开方。
• 矩阵的 $m_{\infty }$ 范数
  $$||A|{|}_{m\infty }=n\cdot \underset{1\le i,j\le n}{\max }|a_{ij}|$$

---

6. 矩阵范数与向量范数的相容性

定义 设 $||\cdot |{|}_m$ 是 ${\mathbb{C}}^{n\times n}$ 上的矩阵范数， $||\cdot |{|}_v$ 是 ${\mathbb{C}}^n$ 上的向量范数，如果 $\forall A\in {\mathbb{C}}^{n\times n},x\in {\mathbb{C}}^n$
$$||Ax|{|}_v\le ||A|{|}_m\cdot ||x|{|}_v$$
总是成立，则称矩阵范数 $||\cdot |{|}_m$ 与向量范数 $||\cdot |{|}_v$ 相容。下标m表示matrix，v表示vector。

定理

1. 矩阵范数 $||\cdot |{|}_{m1}$ ， $||\cdot |{|}_F$ 分别与 $||\cdot |{|}_{v1}$， $||\cdot |{|}_{v2}$ 相容
2. 矩阵范数 $||\cdot |{|}_{m\infty }$ 与向量范数 $||\cdot |{|}_{v1}$， $||\cdot |{|}_{v2}$ ，$||\cdot |{|}_{v\infty }$ 相容

---

7. 矩阵范数诱导的向量范数

对于任意的矩阵范数，都可以找到与之相容的向量范数。
设 $||\cdot |{|}_m$ 是 ${\mathbb{C}}^{n\times n}$ 上一个矩阵范数，取 $a\in {\mathbb{C}}^n$ ，且 $a\ne 0$ ，定义
$$||x|{|}_v=||x{a}^{\mathrm{H}}|{|}_m,x\in {\mathbb{C}}^n$$
可以证明，它是 ${\mathbb{C}}^n$ 上的向量范数，称为由矩阵范数 $||\cdot |{|}_m$ 所诱导的向量范数。
定理 ${\mathbb{C}}^{n\times n}$ 上任意一矩阵范数 $||\cdot |{|}_m$ 与他所诱导的向量范数 $||\cdot |{|}_v$ 相容。
$$\begin{array}{rl}||Ax|{|}_v=& ||(Ax)a^{\mathrm{H}}|{|}_m=||A(x{a}^{\mathrm{H}})|{|}_m\\ & \\ \le & ||A|{|}_m||(x{a}^{\mathrm{H}})|{|}_m=||A|{|}_m||x|{|}_v\end{array}$$

---

8. 由向量范数诱导的矩阵范数

设 $||\cdot |{|}_v$ 是 ${\mathbb{C}}^n$ 上一个向量范数，定义
$$||A|{|}_m=\underset{||x|{|}_v=1}{\max }||Ax|{|}_v=\underset{x\ne 0}{\max }\frac{||Ax|{|}_v}{||x|{|}_v},A\in {\mathbb{C}}^{n\times n}$$
( ∣ ∣ A x ∣ ∣ v ∣ ∣ x ∣ ∣ v = ∣ ∣ 1 ∣ ∣ x ∣ ∣ v A x ∣ ∣ v = ∣ ∣ A ( 1 ∣ ∣ x ∣ ∣ v x ) ∣ ∣ v ) \bigg( \frac{||Ax||_v}{||x||_v}= \bigg| \bigg| \frac{1}{||x||_{v}}Ax \bigg| \bigg| _{v}= \bigg| \bigg| A \bigg( \frac{1}{||x||_{v }}x \bigg) \bigg| \bigg|_v \bigg) (∣∣x∣∣v​∣∣Ax∣∣v​​= ​ ​∣∣x∣∣v​1​Ax ​ ​v​= ​ ​A(∣∣x∣∣v​1​x) ​ ​v​)
称为由向量范数 $||\cdot |{|}_v$ 所诱导的矩阵范数（从属范数）。
定理 ${\mathbb{C}}^n$ 上任意一向量范数 $||\cdot |{|}_v$ 与他所诱导的矩阵范数 $||\cdot |{|}_m$ 相容。

将向量范数 $||\cdot |{|}_1$，$||\cdot |{|}_2$，$||\cdot |{|}_{\infty }$ 诱导的矩阵范数分别记为 $||\cdot |{|}_1$，$||\cdot |{|}_2$，$||\cdot |{|}_{\infty }$ ，则有在同济大学《数值分析》或者一些数值分析速通网课里面提到的矩阵范数。
列范数

• 矩阵的1范数（列和范数）
  $$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$$
  为每列元素绝对值之和的最大的一个。
• 矩阵的2范数
  $$||A|{|}_2=\sqrt{(A^{\mathrm{T}}A的最大特征值)}$$
  行范数
• 矩阵的 $\infty$ 范数（行和范数）
  $$||A|{|}_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n|a_{ij}|$$
  为每行元素绝对值之和的最大的一个。
• 矩阵的 $F$ 范数也是行范数。

相容关系如下：
$$\begin{array}{rl}||Ax|{|}_1\le & ||A|{|}_1\cdot ||x|{|}_1\\ & \\ ||Ax|{|}_{\infty }\le & ||A|{|}_{\infty }\cdot ||x|{|}_{\infty }\\ & \\ ||Ax|{|}_2\le & ||A|{|}_2\cdot ||x|{|}_2\\ & \\ ||Ax|{|}_2\le & ||A|{|}_F\cdot ||x|{|}_2\\ & \end{array}$$

---

9. 矩阵范数的酉不变性

设 $A\in {\mathbb{C}}^{n\times n}$ ，则

1. $||A^{\mathrm{H}}|{|}_F=||A|{|}_F$ ， $||A^{\mathrm{H}}|{|}_2=||A|{|}_2$
2. 酉不变性 对任意酉矩阵 $U,V\in {\mathbb{C}}^{n\times n}$
   $$||UA|{|}_F=||AV|{|}_F=||UAV|{|}_F,||UA|{|}_2=||AV|{|}_2=||UAV|{|}_2$$
3. 若 $A$ 是正规矩阵，且 ${\lambda }_1,{\lambda }_2,\cdot ,{\lambda }_n$ 是 $A$ 的 $n$ 个特征值，则
   $$||A|{|}_2=\underset{k}{\max }|{\lambda }_k|$$
   即如果 $A$ 正规， $A$ 的 $2$ 范数是它最大特征值的绝对值（与谱半径相等）。

---

10. 矩阵范数的等价性

定理 ${\mathbb{C}}^{n\times n}$ 上所有矩阵范数等价。

---

11. 长方阵的范数

矩阵范数的相容性 $\forall A\in {\mathbb{C}}^{m\times n}$ ， $B\in {\mathbb{C}}^{n\times l}$
$$||AB|{|}_{}\le ||A|{|}_{}\cdot ||B|{|}_{}$$
矩阵范数与向量范数的相容性 $\forall A\in {\mathbb{C}}^{m\times n}$ ， $x\in {\mathbb{C}}^n$
$$||Ax|{|}_{}\le ||A|{|}_{}\cdot ||x|{|}_{}$$
从属范数
$$||A|{|}_{}=\underset{||x|{|}_v=1}{\max }||Ax|{|}_v=\underset{x\ne 0}{\max }\frac{||Ax|{|}_v}{||x|{|}_v},A\in {\mathbb{C}}^{m\times n}$$
其中 $||Ax|{|}_v$ 是 ${\mathbb{C}}^m$ 上的范数， $||x|{|}_v$ 是 ${\mathbb{C}}^n$ 上的范数。

对任意 $A\in {\mathbb{C}}^{m\times n}$ ，常用的矩阵范数有：

1. 长方阵的 $m_1$ 范数
   $$||A|{|}_{m1}=\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|$$
2. 长方阵的 $F$ 范数
   $$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}=\sqrt{\text{tr}(A^{\mathrm{H}}A)}$$
   为每个元素平方再求和最后开方。
3. 长方阵的 $M$ 范数或最大范数
   $$||A|{|}_M=\max \{n,m\}\cdot \underset{1\le i,j\le n}{\max }|a_{ij}|$$
4. 长方阵的 $G$ 范数或几何平均范数
   $$||A|{|}_G=\sqrt{mn}\cdot \underset{i,j}{\max }|a_{ij}|$$
5. 长方阵的 $1$ 范数或列和范数
   $$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^m|a_{ij}|$$
6. 长方阵的 $2$ 范数或谱范数
   $$||A|{|}_2=\sqrt{(A^{\mathrm{T}}A的最大特征值)}$$
7. 长方阵的 $\infty$ 范数或行和范数
   $$||A|{|}_{\infty }=\underset{1\le i\le m}{\max }\sum _{j=1}^n|a_{ij}|$$

部分性质：

• $F$ 范数， $2$ 范数，酉不变
• $m_1$ 范数与向量 $1$ 范数相容
• $F$ 范数、 $G$ 范数与向量 $2$ 范数相容
• $M$ 范数与向量 $1$，$2$，$\infty$ 范数相容
• 矩阵 $1$，$2$，$\infty$ 范数分别由向量 $1$，$2$，$\infty$ 范数导出，从而相容
• ${\mathbb{C}}^{m\times n}$ 上所有范数等价

---

下链

---