【最优化方法】矩阵的二次型

矩阵二次型的定义

矩阵的二次型是一个与矩阵和向量相关的二次多项式。对于一个实数域上的二次型，给定一个 $n\times n$ 的对称矩阵 $A$ 和一个列向量 $x$（ $x$ 是一个 $n\times 1$ 的列向量），其二次型定义为：
$$Q(x)=x^{T}Ax$$

这个二次型表示可以更详细地展开为：
$$Q(x)=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{y}_j$$
其中 $a_{ij}$ 是矩阵 $A$ 的元素，表示第 $i$ 行第 $j$ 列的元素。

矩阵 $A$ 和列向量 $x$ 的具体形式为
A = [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ a m 1 a m 2 ⋯ a m n ]       x = [ x 1 x 2 ⋯ x 3 ] T A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots & \cdots & \cdots &\cdots \\ a_{m1} & a_{m2} & \cdots & a_{mn}\\ \end{bmatrix} ~~~~~ x = \begin{bmatrix}x_1 & x_2 & \cdots & x_3\end{bmatrix}^T A= ​a11​a21​⋯am1​​a12​a22​⋯am2​​⋯⋯⋯⋯​a1n​a2n​⋯amn​​ ​     x=[x1​​x2​​⋯​x3​​]T
那么二次型可以写为
Q ( x ) = [ x 1 x 2 ⋯ x n ] [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a n 1 a n 2 ⋯ a n n ] [ x 1 x 2 ⋮ x n ] Q(\mathbf{x})=\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}\begin{bmatrix}a_{11}&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}&\cdots&a_{2n}\\\vdots&\vdots&\ddots&\vdots\\a_{n1}&a_{n2}&\cdots&a_{nn}\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix} Q(x)=[x1​​x2​​⋯​xn​​] ​a11​a21​⋮an1​​a12​a22​⋮an2​​⋯⋯⋱⋯​a1n​a2n​⋮ann​​ ​ ​x1​x2​⋮xn​​ ​
这个形式表达了二次型的一般形状。实对称矩阵的对称性保证了二次型中的交叉项系数相等，即 $a_{ij}=a_{ji}$，从而确保了 $Q(x)$ 的对称性。

矩阵的二次型在线性代数、优化、统计学等领域中有着广泛的应用，特别是在描述二次关系、凸优化等方面。

正定性、负定性、半定性和不定性

设实对称矩阵
A = [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ a m 1 a m 2 ⋯ a m n ] A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots & \cdots & \cdots &\cdots \\ a_{m1} & a_{m2} & \cdots & a_{mn}\\ \end{bmatrix} A= ​a11​a21​⋯am1​​a12​a22​⋯am2​​⋯⋯⋯⋯​a1n​a2n​⋯amn​​ ​
其各阶顺序主子式为 $A_i$，则

一阶顺序主子式：
$$A_1=a_{11}$$
二阶顺序主子式：
$$A_2=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$$
三阶顺序主子式：
A 3 = [ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ] A_3 = \begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \\ \end{bmatrix} A3​= ​a11​a21​a31​​a12​a22​a32​​a13​a23​a33​​ ​
其余各阶顺序主子式依次类推。下表给出各矩阵的定义以及充分必要条件

名称	定义	充要条件
正定矩阵	特征值都大于零的实对称矩阵	所有各阶顺序主子式都大于零，即 $
半正定矩阵	特征值都不小于零的实对称矩阵	$|A|=0$ 且 $|A|\ge 0$
负定矩阵	特征值都小于零的实对称矩阵	$|A_i|=\{\begin{array}{ll}<0& 奇数\\ >0& 偶数\end{array}$
半负定矩阵	特征值都不大于零的实对称矩阵	$|A|=0$ 且 $|A_i|=\{\begin{array}{ll}\le 0& 奇数\\ \ge 0& 偶数\end{array}$
不定矩阵	特征值既有大于零又有小于零的实对称矩阵	有两个奇数阶顺序主子式，一正一负

示例

给定一个实对称矩阵
A = [ 0 1 1 − 1 1 0 − 1 1 1 − 1 0 1 − 1 1 1 0 ] A = \begin{bmatrix} 0 & 1 & 1 & -1 \\ 1 & 0 & -1 & 1 \\ 1 & -1 & 0 & 1 \\ -1 & 1 & 1 & 0 \\ \end{bmatrix} A= ​011−1​10−11​1−101​−1110​ ​

判断该式子是哪种类型？（正定二次型、负定二次型、半正定二次型、半负定二次型、不定二次型）

解：
∣ A − λ E ∣   =   ∣ − λ 1 1 − 1 1 − λ − 1 1 1 − 1 − λ 1 − 1 1 1 − λ ∣   =   ∣ 1 − λ 1 − λ 1 − λ 1 − λ 1 − λ − 1 1 1 − 1 − λ 1 − 1 1 1 − λ ∣ =   ( 1 − λ ) ∣ 1 1 1 1 1 − λ − 1 1 1 − 1 − λ 1 − 1 1 1 − λ ∣   =   ( 1 − λ ) ∣ 1 1 1 1 0 − λ − 1 − 2 0 0 − 2 − λ − 1 0 0 2 2 1 − λ ∣   =   ( 1 − λ ) 2 ( λ 2 + 2 λ − 3 ) = ( λ − 1 ) 3 ( λ + 3 ) \begin{aligned} & |A-\lambda E| ~=~ \begin{vmatrix} -\lambda & 1 & 1 & -1 \\ 1 & -\lambda & -1 & 1 \\ 1 & -1 & -\lambda & 1 \\ -1 & 1 & 1 & -\lambda \\ \end{vmatrix} ~=~ \begin{vmatrix} 1-\lambda & 1-\lambda & 1-\lambda & 1-\lambda \\ 1 & -\lambda & -1 & 1 \\ 1 & -1 & -\lambda & 1 \\ -1 & 1 & 1 & -\lambda \\ \end{vmatrix} \\\\ & =~ (1-\lambda) \begin{vmatrix} 1 & 1 & 1 & 1 \\ 1 & -\lambda & -1 & 1 \\ 1 & -1 & -\lambda & 1 \\ -1 & 1 & 1 & -\lambda \\ \end{vmatrix} ~=~ (1-\lambda) \begin{vmatrix} 1 & 1 & 1 & 1 \\ 0 & -\lambda-1 & -2 & 0 \\ 0 & -2 & -\lambda-1 & 0 \\ 0 & 2 & 2 & 1-\lambda \\ \end{vmatrix} \\\\\ & =~ (1-\lambda)^{2} {(\lambda^2}+2\lambda-3) = (\lambda-1)^3(\lambda+3) \end{aligned}  ​∣A−λE∣ =  ​−λ11−1​1−λ−11​1−1−λ1​−111−λ​ ​ =  ​1−λ11−1​1−λ−λ−11​1−λ−1−λ1​1−λ11−λ​ ​= (1−λ) ​111−1​1−λ−11​1−1−λ1​111−λ​ ​ = (1−λ) ​1000​1−λ−1−22​1−2−λ−12​1001−λ​ ​= (1−λ)2(λ2+2λ−3)=(λ−1)3(λ+3)​
求得 ${\lambda }_1={\lambda }_2={\lambda }_3=1,{\lambda }_4=-3$ ，

故矩阵 $A$ 是特征值既有大于零又有小于零的实对称矩阵，属于不定二次型。