MIT线性代数笔记-第17讲-正交矩阵，Schmidt正交化

17.正交矩阵，$Schmidt$正交化

1. “标准”经常表示单位长度

2. 标准正交基：由两两正交的单位向量组成的基

   将标准正交基中的元素记作$q_1,q_2,\cdots ,q_n$

   有$q_i^T{q}_j=\{\begin{array}{c}0,i\ne j\\ 1,i=j\end{array}$

   设 Q = [ ∣ ⋯ ∣ q ⃗ 1 ⋯ q ⃗ n ∣ ⋯ ∣ ] Q = \begin{bmatrix} | & \cdots & | \\ \vec{q}_1 & \cdots & \vec{q}_n \\ | & \cdots & | \end{bmatrix} Q= ​∣q ​1​∣​⋯⋯⋯​∣q ​n​∣​ ​（此时$Q$不一定要是方阵），则 Q T Q = [ − q ⃗ 1 T − ⋯ ⋯ ⋯ − q ⃗ n T − ] [ ∣ ⋯ ∣ q ⃗ 1 ⋯ q ⃗ n ∣ ⋯ ∣ ] = I Q^T Q = \begin{bmatrix} - & \vec{q}_1^T & - \\ \cdots & \cdots & \cdots \\ - & \vec{q}_n^T & - \end{bmatrix} \begin{bmatrix} | & \cdots & | \\ \vec{q}_1 & \cdots & \vec{q}_n \\ | & \cdots & | \end{bmatrix} = I QTQ= ​−⋯−​q ​1T​⋯q ​nT​​−⋯−​ ​ ​∣q ​1​∣​⋯⋯⋯​∣q ​n​∣​ ​=I

3. 正交矩阵：乘上转置得到$I$的方阵，记作$Q$

   证明正交矩阵各列构成一个标准正交基：

   ​    当$i\ne j$时，$Q^{T}Q$的第$i$行第$j$列等于$0$，即$q_i^T{q}_j=0$，说明$Q$各列两两正交，又$Q^{T}Q$的第$i$行第$i$列为$1$，即$q_i^T{q}_i=q_i^2=1$，可得$|q_i|=1$，说明$Q$各列均为单位向量，因而$Q$各列为两两正交的单位向量

   由定义可知$Q^T=Q^{-1}$，所以$Q{Q}^T=Q{Q}^{-1}=I$，因而$Q^T,Q^{-1}$也为正交矩阵

   $Q$的列空间的投影矩阵$P=Q(Q^{T}Q{)}^{-1}{Q}^T=Q{Q}^T=I$

   因而求解$Qx=b$时，由$Q^{T}b=Q^{T}Qx$可得$x=Q^{T}b$

   所以$b$在第$i$个基方向上的投影$x_i=rowiofQ\cdot b=q_i^{T}b$

   • 哈达玛矩阵：由$1,-1$构成的满足右乘其转置得到$nI$的方阵，记作$H$

     易证$nI$中的$n$为$H$的阶数

     与正交矩阵同理可知$H$各列两两正交，进而由定义可知$\frac{1}{\sqrt{n}}H$为正交矩阵

     哈达玛矩阵的阶数只能为$1,2$或$4$的倍数（但并不是所有$4$的倍数都可以）$（暂时不会证明）$

4. 格拉姆-施密特正交化

   • 考虑两个线性无关向量$a,b$，先将二者正交化得到两个新向量$A,B$

     正交化具体方法为：令其中一个保持不变，如$A=a$，将另一个向量投影到前者后用后者减去投影，得到的就是后者的正交化，如$B=b-A\frac{A^{T}b}{A^{T}A}$

     再将正交化得到的向量标准化，即每个向量除以自己的模，得到一个标准正交基$\{q_1,q_2\}$，如$q_1=\frac{A}{|A|},q_2=\frac{B}{|B|}$

   • 考虑将线性无关向量拓展至三个——$a,b,c$

     正交化得到的向量增加一个$C$

     设$C^{{}^{\prime }}=c-A\frac{A^{T}c}{A^{T}A}$，有$(C^{{}^{\prime }}{)}^{T}A=0$

     设$C^{{}^{\prime \prime }}=C^{{}^{\prime }}-B\frac{B^T{C}^{{}^{\prime }}}{B^{T}B}$，有${C^{{}^{\prime \prime }}}^{T}B=0$

     其中$B\frac{B^T{C}^{{}^{\prime }}}{B^{T}B}$与$B$共线，而$B$与$A$正交，因而$B\frac{B^T{C}^{{}^{\prime }}}{B^{T}B}$与$A$正交，又$(C^{{}^{\prime }}{)}^{T}A=0$，所以$(C^{{}^{\prime \prime }}{)}^{T}A=(C^{{}^{\prime }}-B\frac{B^T{C}^{{}^{\prime }}}{B^{T}B})A=0$，即$C^{{}^{\prime \prime }}$与$A$正交，所以$C^{{}^{\prime \prime }}$与$B,A$均正交，$C=C^{{}^{\prime \prime }}$

     下证$B\frac{B^T{C}^{{}^{\prime }}}{B^{T}B}=B\frac{B^{T}c}{B^{T}B}$

     等式左右分别表示$C^{{}^{\prime }},c$在$B$的投影，$c$的投影由$C^{{}^{\prime }},A\frac{A^{T}c}{A^{T}A}$的投影两部分组成，而后者与$A$共线，即与$B$正交，投影为$0$，所以$c$的投影与$C^{{}^{\prime }}$的投影一致，即$B\frac{B^T{C}^{{}^{\prime }}}{B^{T}B}=B\frac{B^{T}c}{B^{T}B}$

     $\therefore C=c-A\frac{A^{T}c}{A^{T}A}-B\frac{B^{T}c}{B^{T}B}$（如果$A,B$不正交，是无法这样得到与两者都正交的分向量的）

     当然最后还是要除以模

   • 将最初和最终的向量分别按列摆放组合为两个矩阵 A = [ ∣ ∣ ⋯ a ⃗ 1 a ⃗ 2 ⋯ ∣ ∣ ⋯ ] , Q = [ ∣ ∣ ⋯ q ⃗ 1 q ⃗ 2 ⋯ ∣ ∣ ⋯ ] A = \begin{bmatrix} | & | & \cdots \\ \vec{a}_1 & \vec{a}_2 & \cdots \\ | & | & \cdots \end{bmatrix} , Q = \begin{bmatrix} | & | & \cdots \\ \vec{q}_1 & \vec{q}_2 & \cdots \\ | & | & \cdots \end{bmatrix} A= ​∣a 1​∣​∣a 2​∣​⋯⋯⋯​ ​,Q= ​∣q ​1​∣​∣q ​2​∣​⋯⋯⋯​ ​

     设$A=QR$，有$Q^{T}A=Q^{T}QR$，可得$R=Q^{T}A$

     思考得到每个$q$的过程不难发现$a_1,a_2,\cdots ,a_i$与$q_1,q_2,\cdots ,q_i$线性组合所能得到的空间是一致的，而$q_i$之后的向量会正交于$q_1,q_2,\cdots ,q_i$中的每一个，即正交于这个空间中的每一个向量，因此想要对$q$线性组合得到$a_i$，无法使用到$q_i$之后的$q$，即它们在$R$中的对应参数为$0$，所以$R$为一个上三角阵，且其对角线上的元素为对应的未标准化的新向量的模

---

打赏

制作不易，若有帮助，欢迎打赏！