矩阵的二次型，矩阵的迹、正定矩阵、Hessian矩阵、实对称

一、二次型：

1.1 定义

含有$n$个变量$x_1,x_2,\dots ,x_n$的二次齐次函数（如果变量乘以一个系数，则新函数会是原函数再乘上系数的某次方倍）：

$f(x_1,x_2,\dots ,x_n)=a_{11}{x}_1^2+a_{22}{x}_2^2+\cdots +a_{nn}{x}_n^2+2a_{12}{x}_1{x}_2+2a_{13}{x}_1{x}_3+\cdots +2a_{n-1,n}{x}_{n-1}{x}_n$

称为二次型。

取$a_{ij}=a_{ji}$，则$2a_{ij}{x}_i{x}_j=a_{ij}{x}_i{x}_j+a_{ji}{x}_j{x}_i$，于是上式可写成：

$$\begin{gathered} f=a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{1n}{x}_1{x}_n \\ +a_{21}{x}_2{x}_1+a_{22}{x}_2^2+\cdots +a_{2n}{x}_2{x}_n \\ +\dots \\ +a_{n1}{x}_n{x}_1+a_{n2}{x}_n{x}_2+\cdots +a_{nn}{x}_n^2 \\ =\sum _{i,j=1}^n{a}_{ij}{x}_i{x}_j \end{gathered}$$

由上式，利用矩阵，二次型可表示为：

$$\begin{gathered} f=x_1(a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n) \\ +x_2(a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n) \\ +\dots \\ +x_n(a_{n1}{x}_1+a_{x2}{x}_2+\cdots +a_{nn}{x}_n) \\ =(x_1,x_2,\dots ,x_n)\left[\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n\\ ⋮\\ a_{n1}{x}_1+a_{x2}{x}_2+\cdots +a_{nn}{x}_n\end{array}\right] \\ =(x_1,x_2,\dots ,x_n)\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& & & \\ a_{n1}& a_{x2}& \dots & a_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right] \end{gathered}$$

记：

$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& & & \\ a_{n1}& a_{x2}& \dots & a_{nn}\end{array}\right],x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$

则二次型可记作：

$f=x^{T}Ax$

注意，对任何一个二次型函数，存在许多矩阵$A$，它们的二次型相同。但是，只有唯一的一个对阵矩阵$A$。因此，在讨论矩阵$A$的二次型时，通常都假定$A$为实对称矩阵或复共轭对称（即Hermitian）矩阵。

定义1.6.1：

一个复共轭对阵矩阵$A$称为：

• 正定矩阵：二次型$x^{H}Ax>0，\forall x\ne 0$
• 半正定矩阵：二次型$x^{H}Ax\ge 0，\forall x\ne 0$（也称非负定的）
• 负定矩阵：二次型$x^{H}Ax<0，\forall x\ne 0$
• 非负定矩阵：二次型$x^{H}Ax\le 0，\forall x\ne 0$（也称非正定的）
• 不定矩阵：二次型$x^{T}Ax$既可能取正值，也可能取负值

二、矩阵的迹

定义1.6.3

$n\times n$矩阵$A$的对角元素之和称为$A$的迹（trace），记作$tr(A)$，即：

$tr(A)=a_{11}+a_{22}+\cdots +a_{nn}=\sum _{i=1}^n{a}_{ii}(1.6.5)$

2.1 关于迹的等式

2.2 关于迹的不等式

三、行列式

一个$n\times n$正方矩阵$A$的行列式记作$det(A)$或$|A|$，定义为：

$det(A)=|A|=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right|$

二、正定矩阵：

2.1 定义

定义：

设有二次型$f(x)=x^{T}Ax$，如果对任意$x\ne 0$，都有$f(x)>0$（$f(0)=0)$，则称$f$为正定二次型，并称对称阵$A$是正定的；如果对任何$x\ne 0$都有$f(x)<0$，则称$f$为负定二次型，并称对称阵$A$是负定的。

推论：

对称阵$A$为正定的充分必要条件是：$A$的特征值全为正。

2.2 从几何意义理解正定二次型

对于最简单的一元二次函数，当$x\ne 0$ 时$f(x)>0$恒成立。即一元二次正定型对应的图像是开口向上，顶点在原点的抛物线，同理二元二次正定型$f(x,y)=x^2+y^2$对应的图像是开口向上，顶点在原点的抛物面。

拓展到n元正定二次型的图像也对应着一个抛物线，保证当自变量取值非零向量时，对应的函数值大于零恒成立

2.3 半正定矩阵

2.3.1 图像

同样我们可以给出二元半正定二次型的图像，即当某个自变量的特征值为0从而保证当自变量取值为非零向量时，对应的函数值大于等于0恒成立。

2.3.2 性质

1. 半正定矩阵的行列式非负
2. 两个半正定矩阵的和是半正定的
3. 非负实数与半正定矩阵的数乘是半正定的
4. 半正定矩阵的特征值都是非负的

三、Hessian矩阵：

实值函数$f(x)$相对于$m\times 1$实向量$x$的二阶偏导是一个由$m^2$个二阶偏导组成的矩阵（称为Hessian矩阵），定义为：

$\frac{{\partial }^{2}f(x)}{\partial x\partial x^T}$=$\frac{\partial }{\partial x^T}$[$\frac{\partial f(x)}{\partial x}$]

或者简写为梯度的梯度：

${\nabla }_x^{2}f(x)={\nabla }_x({\nabla }_{x}f(x))$

根据定义，Hessian矩阵的第$j$列是梯度$\frac{\partial f(x)}{\partial x}$=${\nabla }_{x}f(x)$第$j$个分量的梯度，即：

[$\frac{{\partial }^{2}f(x)}{\partial x\partial x^T}$]=$\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}$

其方块矩阵如下所示：

$\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \dots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$

因此，Hessian矩阵可以用两步法求出：

（1）求实值函数$f(x)$关于向量变元$x$的偏导数，得到实值函数的梯度$\frac{\partial f(x)}{\partial x}$
（2）再求梯度$\frac{\partial f(x)}{\partial x}$相对于$1\times n$行向量$x^T$的偏导数，得到梯度的梯度即Hessian矩阵

根据以上步骤，容易得到Hessian矩阵的下列公式：

设$x_{\ast }$为目标函数的局部极小点，当目标函数$f$光滑时，存在很多有效和实际的方法来识别一个点是否为局部极小点。特别地，如果$f$是二次连续可微分的话，直接通过检验梯度${\nabla }_{x}f(x_{\ast })$和Hessian矩阵${\nabla }_x^{2}f(x_{\ast })$，即可判断点$x_{\ast }$是否为局部极小点（甚至是严格局部极小点）。

若$(\nabla x{)}^T\nabla x$很小，则函数$f(x)$的Taylor级数展开为：

$f(x+\nabla x)=f(x)+(\nabla x{)}^T{\nabla }_{x}f(x)+\frac{1}{2}(\nabla x{)}^T{\nabla }_x^{2}f(x)\nabla x$

下

如果函数f是连续的，那么它的Hessian矩阵一定是对称阵，因为对函数求偏导的顺序不影响偏导的值。
Hessian矩阵可以用于多元函数极值的判定：

两个求Hessian矩阵的例子：



https://blog.csdn.net/jbb0523/article/details/50598523

四、实对称矩阵

如果有n阶矩阵A，其矩阵的元素都为实数，且矩阵A的转置等于其本身($a_{ij}=a_{ji}$)，则称A为实对称矩阵。

4.1 性质

4.1.1 定理一

对称矩阵的特征值为实数、特征向量是实向量。

4.1.2 定理二

$设{\lambda }_1,{\lambda }_2是实对称矩阵A的两个特征值，p_1,p_2是对应的特征向量，若{\lambda }_1\ne {\lambda }_2，则p_1与p_2正交$

证明：
${\lambda }_1{p}_1=A{p}_1,{\lambda }_2{p}_2=A{p}_2,{\lambda }_1\ne {\lambda }_2$
$\because A对称,A=A^T$
$\therefore {\lambda }_1{p}_1^T=({\lambda }_1{p}_1{)}^T=(A{p}_1{)}^T=p_1^T{A}^T=p_1^{T}A$
$\therefore {\lambda }_1{p}_1^T{p}_2=p_1^{T}A{p}_2=p_1^T({\lambda }_2{p}_2)={\lambda }_2{p}_1^T{p}_2$
$\therefore ({\lambda }_1-{\lambda }_2)p_1^T{p}_2=0$
$\because {\lambda }_1\ne {\lambda }_2$
$\therefore p_1^T{p}_2=0，即p_1与p_2正交$

4.1.3 定理三

设A为n阶对称矩阵，则必有正交矩阵P，使$P^{-1}AP=\Lambda$，其中$\Lambda$是以A的n个特征值为对角元素的对角矩阵
或：
$若A=A^T$
$⟹\exists |p|\ne 0且P^T=P^{-1}，使P^{-1}AP=\Lambda =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$

https://wenku.baidu.com/view/f04d366e58fafab069dc0256.html?sxts=1591661298009