矩阵消元-线性代数课时2（MIT Linear Algebra , Gilbert Strang）

        这是Strang教授的第二讲，讲解了求线性方程组的一种系统方法：消元法（Gaussian elimination），它的核心思想是行变换。本课时的几个核心知识点：消元、回代、消元过程的矩阵描述和逆矩阵。

消元

        消元的思想在解线性方程组的过程中出现得很自然，并不需要很多技巧和复杂的公式,我们在中学时代就已经使用过。以3个未知数、3个方程的线性方程组为例，介绍消元的过程：

        

        我们求解上面的线性方程组的做法，用第一个方程消去第二个方程中的x，得到只包含未知数y，z的方程二，再用新得到的第二方程消去去第三个方程中的y得到只包含未知数z的第三个方程，这就是消元的基本思想。我们一Ax=b记录消元的过程：

         

        将上面消元之后的系数矩阵记为U，U有一些特点，可以观察到它的对角线下方的元素全为0，这也是为什么用大写字母U标记的原因，U代表Upper，是一个上三角矩阵，消元之后的右侧向量记为c,我们消元之后得到新的方程组的矩阵表示即为Ux=c,方程组：

        

        可以看到我们在消元过程中要对矩阵A和向量b同时进行相同的行变换（可以理解为行向量的线性组合），那么可不可以将矩阵A和向量b放在一起一次计算完成变换呢，答案就是采用增广矩阵，将向量b看作A的一列得到新的矩阵[A b],新的矩阵就叫做增广矩阵，后面对变换过程用矩阵表示之后，通过矩阵乘法性质可以得出对A和b单独变换的结果等同于对矩阵[A b]做变换的结果，这里写一下增广矩阵表示消元的过程：

        

        这里还有一个重要的知识点没记录，那就是主元（pivot），得到的矩阵U上对角线上的元素1，2，5就是我们例子中3x3系统中的3个主元，我们给主元编号从行1到行3，主元1（1）、主元2（2）、主元3（5）。有了主元的概念，我们可以这样重新理解上面消元的过程：1、我们首先选择A的第一行的第一个元素作为主元1，将主元1下方不为0的元素通过减去主元1的倍数使得主元1下方的元素都为0，当然这里的加法和倍数是怎对A的整个行向量而不是行向量中的第一个元素，同时也要对向量b做同样的变换，这样就完成了针对主元1的消元过程.2、同样选择第二行的第二列的元素作为主元2，通过同样的方式将主元2下方的元素变换为0.3、同理是选择在第三行第三列的元素作为主元3，这里是一个3x3的系统，主元3下方没有其它元素，所以不做任何操作。主元是一个很重要的概念，后面要学习矩阵的行列式，行列式的值就等于主元的乘积。这里有个重要的原则：消元过程中主元不能为0，如果取得某一行的主元为0，可以通过和它下方的行交换的方式来暂时规避。

回代

        我们消元的目的是求解线性方程组，回代可以看作是消元的逆步骤，通过消元我们得到了新的，系数矩阵具有上三角特性的线性方程组，我们从系数矩阵最下方的方程组开始首先求得第3列的未知数z=-10/5=-2，继而求得y=1，最后求得x=2。回代的过程会将主元作为分母，这为什么主元不能为0的原因。

消元过程的矩阵描述

        这里一个重要的事实，对矩阵进行行变换是可以通过左乘矩阵实现的（或者叫做等价于在矩阵左侧乘上一个特殊的变换矩阵）。消元过程的矩阵描述也即是上面校园过程中的r(2)-3r(1),r(3)-2r(2)这些代数表达转换为矩阵的形式，虽然只是换了一种表达方式，但是这很重要，它使我们能够完全使用矩阵运算完成消元过程。

        Step1. r(2)-3r(1) ，记左侧矩阵,表示通过主元1消第2行不为0元素.

        

        Step2. r(3)-2r(2),记左侧矩阵.

        

        Step1、Step2合并可写做：，，。

     这里要用到一个矩阵乘法的性质：结合律A(BC) = (AB)C,根据这条性质，我们可以改写上面的结果表达式：，，，表明我们可以用单个矩阵完成我们的整个消元过程。

        上面描述了完整的消元过程，但我们有意识的忽略了一个问题：消元什么时候会失败？这个问题和主元的性质有关，这条性质就是主元不允许为0，分为3种情况：1.方程组无解，这时候我们消元过程中会得到矩阵底部的方程主元为0，等式右侧值不为0，这种情况我们可以判断方程无解；2.方程有无数解，这是后我们消元过程中会得到矩阵底部的方程主元为0，等式右侧值也为0，表明底部主元乘上的未知数可以取任意值；3.方程组有解，但是在通过矩阵消元的过程中碰到选取的行主元已经为0，这时我们可以通过调换主元所在的行与它下侧的行将主元变换成非0，完成这种变换的矩阵叫置换矩阵，举例：

        

        就是所谓的置换矩阵，它置换了的第2、3行。

逆矩阵

        教授在本节课中最后几分钟讲了一点关于逆矩阵的知识，我还是将其记录下来。思考一个问题我们通过得到了上三角矩阵得到了U，那么如何通过U得到A呢？这就是逆矩阵为我们要做的事情（看过教授后面的视频知道，这最终会引出A的一个重要分解LU）。我们知道单位矩阵I乘上任何矩阵，矩阵保持原样，若我们得到一个矩阵,使得,那么成立，也就是将矩阵通过左乘变换为了矩阵A，就是矩阵的逆矩阵， ：

        

        这里A由U的变换可写成,推导很简单，只需要将代入即可，关于逆矩阵的知识教授在课时3的视频中会详细介绍。

        内容对应《INTRODUCTION TO LINEAR ALGEBRA》2.2 - 2.3章节

        下节课：矩阵乘法和逆矩阵-线性代数课时3（MIT Linear Algebra , Gilbert Strang）