矩阵、概率等

行列式乘法

左行右列：初等阵 $P$ 左乘 $A$ 有 $PA$，相当于对 $A$ 按照 $P$ 的行元素，做了一次初等行变换；初等阵 $Q$ 右乘 $A$ 有 $AQ$，相当于对 $A$ 按照 $Q$ 的列元素，做了一次初等列变换。

---

奇异值分解（Singular Value Decomposition）

---

定义：设矩阵 $A\in C_r^{m\times n}$ ，${\lambda }_i$ 是 $A{A}^H(A^{H}A)$ 的非零特征值，则称 ${\sigma }_i=\sqrt{{\lambda }_i}$ 为 $A$ 的奇异值，$i=1,2,\cdots ,r$
定理：设矩阵 $A\in C_r^{m\times n}$ ，则存在 $U\in U^{m\times m}$，$V\in U^{n\times n}$，使得 $A=U\left[\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right]V^H$，其中 $\Delta =diag[{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r]$， ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r$ 为 $A$ 的奇异值。
证明：因为 $A{A}^H$ 是正规阵，所以存在 $U\in U^{m\times m}$ ，使得$$U^{H}A{A}^{H}U=diag[{\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2,0,\cdots ,0]=\left[\begin{array}{cc}\Delta {\Delta }^H& 0\\ 0& 0\end{array}\right]$$
且 ${\sigma }_1^2\ge {\sigma }_2^2\ge \cdots \ge {\sigma }_r^2$
其中 $\Delta =diag[{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r]$。设 $U=[\begin{array}{cc}{U}_1& U_2\end{array}]$，则$$\begin{array}{rl}{U}^{H}A{A}^{H}U& =\left[\begin{array}{c}{U}_1^H\\ U_2^H\end{array}\right]A{A}^H\left[\begin{array}{cc}{U}_1& U_2\end{array}\right]\\ & =\left[\begin{array}{c}{U}_1^H\\ U_2^H\end{array}\right]\left[\begin{array}{cc}A{A}^H{U}_1& A{A}^H{U}_2\end{array}\right]\\ & =\left[\begin{array}{cc}{U}_1^{H}A{A}^H{U}_1& U_1^{H}A{A}^H{U}_2\\ U_2^{H}A{A}^H{U}_1& U_2^{H}A{A}^H{U}_2\end{array}\right]\\ & =\left[\begin{array}{cc}\Delta {\Delta }^H& 0\\ 0& 0\end{array}\right]\end{array}$$故有$$\begin{array}{rl}{U}_1^{H}A{A}^H{U}_1& =\Delta {\Delta }^H\\ U_1^{H}A{A}^H{U}_2& =0\\ U_2^{H}A{A}^H{U}_1& =0\\ U_2^{H}A{A}^H{U}_2& =0\end{array}$$令 $V_1=A^H{U}_1{\Delta }^{-H}$，则 $V_1^H{V}_1={\Delta }^{-1}{U}_1^{H}A{A}^H{U}_1{\Delta }^{-H}$，由 $U_1^{H}A{A}^H{U}_1=\Delta {\Delta }^H$ 得$$V_1^H{V}_1=E_r$$所以 $V_1$ 为次酉阵，即 $V_1\in U_r^{n\times r}$，故存在 $V_2\in U_{n-r}^{n\times (n-r)}$，使得 $V=[\begin{array}{cc}{V}_1& V_2\end{array}]\in U^{n\times n}$，所以$$U^{H}AV=\left[\begin{array}{c}{U}_1^H\\ U_2^H\end{array}\right]A[\begin{array}{cc}{V}_1& V_2\end{array}]=\left[\begin{array}{cc}{U}_1^{H}A{V}_1& U_1^{H}A{V}_2\\ U_2^{H}A{V}_1& U_2^{H}A{V}_2\end{array}\right]$$由 $U_1^{H}A{A}^H{U}_1=\Delta {\Delta }^H$ 得$$U_1^{H}A{V}_1=U_1^{H}A{A}^H{U}_1{\Delta }^{-H}=\Delta$$由 $U_2^{H}A{A}^H{U}_2=(A^H{U}_2{)}^H(A^H{U}_2)=0$ 得$$A^H{U}_2=0，U_2^{H}A=0$$所以 $U_2^{H}A{V}_1=0，U_2^{H}A{V}_2=0$。又因为$$V_1=A^H{U}_1{\Delta }^{-H}\Rightarrow V_1{\Delta }^H=A^H{U}_1\Rightarrow U_1^{H}A=\Delta V_1^H$$所以 $U_1^{H}A{V}_2=\Delta V_1^H{V}_2=0$。故 $U^{H}AV=\left[\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right]$，即 $A=U\left[\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right]V^H$。

---

分解步骤（SVD）

---

• 求出 $A{A}^H(A^{H}A)$ 全部非零特征值 ${\lambda }_i$，记 $\Delta =diag[{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r]$，且 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r$ 为 $A$ 的正奇异值。
• 求酉矩阵 $U\in U^{m\times m}(V\in V^{n\times n})$，使得$$\begin{gathered} U^{H}A{A}^{H}U=diag[{\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2,0,\cdots ,0] \\ (V^H{A}^{H}AV=diag[{\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_r^2,0,\cdots ,0]) \end{gathered}$$
• 设 $U=[\begin{array}{cc}{U}_1& U_2\end{array}](V=[\begin{array}{cc}{V}_1& V_2\end{array}])$，其中 $U_1(V_1)$ 为 $U(V)$ 的前 $r$ 列，令 $V_1=A^H{U}_1{\Delta }^{-H}(U_1=A{V}_1{\Delta }^{-1})$，则 $V_1(U_1)$ 为次酉阵，求 $V_2\in U_{n-r}^{n\times (n-r)}(U_2\in U_{m-r}^{m\times (m-r)})$，使得 $V=[\begin{array}{cc}{V}_1& V_2\end{array}]\in U^{n\times n}(U=[\begin{array}{cc}{U}_1& U_2\end{array}]\in U^{m\times m})$。
• $A=U\left[\begin{array}{cc}\Delta & 0\\ 0& 0\end{array}\right]V^H$

---

几何意义（SVD）

---

$\Delta$ 视为放缩矩阵，$U$ 和 $V$ 视为旋转矩阵。
因此，对于 $M=AN$ 和 $A=U\Delta V^H$ 可以直观的解释为一个图像 $N$ 经过 $A$ 变换成另一个图像 $M$ 的过程，首先经过 $V^H$ 的旋转，再经过 $\Delta$ 的放缩，最后在经过 $U$ 的旋转得到最终的图像。

---

QR 分解

---

Cholesky 分解

---

变元：在初等数学里，变量或变元、元是一个用来表示值的符号，该值可以是随意的，也可能是未指定或未定的。

无特殊标记下，大多数提到的向量都是列向量。
$vec(\cdot )$ 表示矩阵化为向量，$rvec(\cdot )$ 表示矩阵化为行向量。
$vec(\cdot )$ 称为向量化算子，$vec(\cdot )$ 又分为按行展开和按列展开。
$unvec(\cdot )$ 表示向量化为矩阵，$unrvec(\cdot )$ 表示行向量化为矩阵。

设矩阵 $A=(a_{ij})\in R_{m\times n}$，把矩阵 $A$ 的元素按行的顺序排列成一个向量：
$vecA=(a_{11},a_{12},\cdots ,a_{1n},a_{21},a_{22},\cdots ,a_{2n},\cdots ,a_{m1},a_{m2},\cdots ,a_{mn}{)}^T$，则称向量 $vecA$ 为矩阵 $A$ 按行展开的向量。

设矩阵 $A=(a_{ij})\in R_{m\times n}$，把矩阵 $A$ 的元素按列的顺序排列成一个向量：
$vecA=(a_{11},a_{21},\cdots ,a_{n1},a_{12},a_{22},\cdots ,a_{n2},\cdots ,a_{1n},a_{2n},\cdots ,a_{mn}{)}^T$，则称向量 $vecA$ 为矩阵 $A$ 按列展开的向量。

向量对向量求偏导，才涉及到分子、分母布局。
分子布局（称为 $Jacobian$ 形式）。比如 $y_{m\times 1}$ 和 $x_{n\times 1}$，则 $Jacobian$ 形式为 $\frac{\partial y}{\partial x^T}$ 即按照 $y$ 和 $x^T$ 的维数相乘为 $m\times 1\times 1\times n=m\times n$，因为分子没有变化（转置），所以称为分子布局（个人记法）。
分母布局（称为 $Hessian$ 形式）。比如 $y_{m\times 1}$ 和 $x_{n\times 1}$，则 $Hessian$ 形式为 $\frac{\partial y^T}{\partial x}$ 即按照 $x$ 和 $y^T$ 的维数相乘为 $n\times 1\times 1\times m=n\times m$，因为分母没有变化（转置），所以称为分母布局（个人记法）。有的也称该布局为梯度，区别于 $Jacobian$ 形式。

---

协梯度矩阵

分子不变，分母变为转置。

$$\frac{\partial Scalar}{\partial Vector/Matrix}$$
$1\times m$ 行向量的偏导算子 $D_x\stackrel{def}{=}\frac{\partial }{\partial x^T}\stackrel{\Delta }{=}\left[\frac{\partial }{\partial x_1},\cdots ,\frac{\partial }{\partial x_m}\right]$

$$标量函数f(x)的行向量偏导$$	$$D_{x}f(x)=\frac{\partial }{\partial x^T}f(x)=\left[\frac{\partial f(x)}{\partial x_1},\cdots ,\frac{\partial f(x)}{\partial x_m}\right]$$
$$矩阵形式定义实值标量函数f(X)的行向量偏导$$	$$\begin{gathered} D_{ve{c}^T(X)}f(X)=\frac{\partial }{\partial ve{c}^T(X)}f(X) \\ =\left[\frac{\partial f(X)}{\partial X_{11}},\cdots ,\frac{\partial f(X)}{\partial X_{m1}},\cdots ,\frac{\partial f(X)}{\partial X_{1n}},\cdots ,\frac{\partial f(X)}{\partial X_{mn}}\right] \end{gathered}$$
$$矩阵形式定义实值标量函数f(X)在X处的偏导$$	$$D_{X}f(X)=\left[\begin{array}{ccc}\frac{\partial f(X)}{\partial X_{11}}& \cdots & \frac{\partial f(X)}{\partial X_{m1}}\\ ⋮& \ddots & ⋮\\ \frac{\partial f(X)}{\partial X_{1n}}& \cdots & \frac{\partial f(X)}{\partial X_{mn}}\end{array}\right]\in R^{n\times m}$$ $$D_{X}f(X)=\frac{\partial }{\partial X^T}f(X)={\left[\frac{\partial f(X)}{\partial X_{ji}}\right]}_{j=1,i=1}^{m,n}$$
$$备注$$	$$ve{c}^T(X)={\left[vec(X)\right]}^T$$ $$D_{ve{c}^T(X)}f(X)和D_{X}f(X)分别为矩阵形式定义实值标量函数f(X)$$ $$在X的行向量偏导和Jacobian矩阵$$

---

梯度矩阵

分母不变，分子变为转置。

$$\frac{\partial Scalar}{\partial Vector/Matrix}$$

$m\times 1$列向量偏导算子，习惯称之为梯度算子 ${\nabla }_x\stackrel{def}{=}\frac{\partial }{\partial x}={\left[\frac{\partial }{\partial x_1},\cdots ,\frac{\partial }{\partial x_m}\right]}^T$

$$标量函数f(x)的列向量偏导$$ $$习惯称之为标量函数f(x)的梯度矩阵$$	$${\nabla }_{x}f(x)\stackrel{def}{=}\frac{\partial }{\partial x}f(x)={\left[\frac{\partial f(x)}{\partial x_1},\cdots ,\frac{\partial f(x)}{\partial x_m}\right]}^T$$
$$矩阵形式定义实值标量函数f(X)的列向量偏导$$$$习惯称之为标量函数f(x)的梯度矩阵的列向量形式$$	$$\begin{gathered} vec({\nabla }_{x}f(X))=\frac{\partial f(X)}{\partial vec(X)} \\ ={\left[\frac{\partial f(X)}{\partial X_{11}},\cdots ,\frac{\partial f(X)}{\partial X_{m1}},\cdots ,\frac{\partial f(X)}{\partial X_{1n}},\cdots ,\frac{\partial f(X)}{\partial X_{mn}}\right]}^T \end{gathered}$$
$$矩阵形式定义实值标量函数f(X)在X处的偏导$$ $$习惯称之为标量函数f(X)在X处的梯度矩阵$$	$${\nabla }_{X}f(X)=\left[\begin{array}{ccc}\frac{\partial f(X)}{\partial X_{11}}& \cdots & \frac{\partial f(X)}{\partial X_{1n}}\\ ⋮& \ddots & ⋮\\ \frac{\partial f(X)}{\partial X_{m1}}& \cdots & \frac{\partial f(X)}{\partial X_{mn}}\end{array}\right]\in R^{m\times n}$$ $${\nabla }_{X}f(X)=\frac{\partial }{\partial X}f(X)={\left[\frac{\partial f(X)}{\partial X_{ij}}\right]}_{i=1,j=1}^{m,n}$$
$$矩阵变元X化为列向量$$$$关于矩阵变元X的梯度算子$$	$$\begin{gathered} {\nabla }_{vec(X)}=\frac{\partial }{\partial vec(X)} \\ ={\left[\frac{\partial }{\partial X_{11}},\cdots ,\frac{\partial }{\partial X_{m1}},\cdots ,\frac{\partial }{\partial X_{1n}},\cdots ,\frac{\partial }{\partial X_{mn}}\right]}^T \end{gathered}$$

---

显然，${\nabla }_{X}f(X)=D_X^{T}f(X)$，也就是说标量函数 $f(X)$ 的梯度矩阵与 $Jacobian$ 矩阵是转置的关系。由于两者之间的转换关系，行向量形式的偏导向量是列向量形式的梯度向量的协变形式(covariant form of the gradient vector)，又简称为协梯度向量(cogradient vector)。同理，$Jacobian$ 矩阵有时被称为梯度矩阵的协变形式或简称为协梯度矩阵。协梯度是一协变算子(covariant operator)，它本身虽不是梯度，但却是梯度的转置。
有鉴于此，$Jacobian$ 算子 $\frac{\partial }{\partial x^T}$ 和 $\frac{\partial }{\partial X^T}$ 又称（行）偏导算子、梯度算子的协变形式或协梯度算子(cogradient operator)。
$${\nabla }_{X}f(X)=unvec(D_{ve{c}^T(X)}^{T}f(X))$$
上式说明，标量函数 $f(X)$ 的梯度矩阵由行向量偏导的转置（列向量形式）的矩阵化结果决定。

若 $D_{ve{c}^T(X)}f(X)=[d_1,\cdots ,d_{mn}]$，则梯度矩阵第 $(i,j)$ 个元素
$$[{\nabla }_{X}f(X){]}_{i,j}=d_{i+(j-1)n}\{\begin{array}{l}i=1,\cdots ,m\\ j=1,\cdots ,n\end{array}$$
梯度方向的负方向称为变元 $x$ 的梯度流(gradient flow)，记作$$\dot{x}=-{\nabla }_{x}f(x)$$

从梯度向量的定义式可以看出：
(1)一个以向量为变元的实值标量函数的梯度为一列向量
(2)梯度向量的每个分量给出了标量函数在该分量方向上的变化率

重要性质：梯度向量指出了当变元增大时，实值标量函数 $f(x)$ 的最大增大率。相反，梯度的负值（简称负梯度）则指出了当变元增大时函数 $f(x)$ 的最大减小率。这是梯度下降法的基础。

简要的说明协梯度矩阵和梯度矩阵的关系：
对实值标量函数 $f(X)$，变元为 $X_{m\times n}$ 矩阵来说，
$$\begin{gathered} D_{X}f(X)的步骤为:vec(X):{\left[X_{11},\cdots ,X_{m1},\cdots ,X_{1n},\cdots ,X_{mn}\right]}^T \\ \to ve{c}^T(X):\left[X_{11},\cdots ,X_{m1},\cdots ,X_{1n},\cdots ,X_{mn}\right] \\ \to unvec(ve{c}^T(X)):\left[\begin{array}{ccc}{X}_{11}& \cdots & X_{m1}\\ ⋮& \ddots & ⋮\\ X_{1n}& \cdots & X_{mn}\end{array}\right] \end{gathered}$$

$$\begin{gathered} {\nabla }_{X}f(X)的步骤为：vec(X):{\left[X_{11},\cdots ,X_{m1},\cdots ,X_{1n},\cdots ,X_{mn}\right]}^T \\ \to unvec(vec(X)):\left[\begin{array}{ccc}{X}_{11}& \cdots & X_{1n}\\ ⋮& \ddots & ⋮\\ X_{m1}& \cdots & X_{mn}\end{array}\right] \end{gathered}$$

因此，$D^T=\nabla$

---

$$\frac{\partial Vector/Matrix}{\partial Vector/Matrix}$$

---

实值向量函数的协梯度矩阵

---

对 $p\times 1$ 实值向量函数 $f(x)=[f_1(x),\cdots ,f_p(x){]}^T$ 的元素 $f_i(x),i=1,\cdots ,p$ 使用实值标量函数的行向量偏导公式，可以直接定义实值向量函数的偏导如下：

$$D_{x}f(x)=\frac{\partial f(x)}{\partial x^T}=\left[\begin{array}{c}\frac{\partial f_1(x)}{\partial x^T}\\ ⋮\\ \frac{\partial f_p(x)}{\partial x^T}\end{array}\right]=\left[\begin{array}{ccc}\frac{\partial f_1(x)}{\partial x_1}& \cdots & \frac{\partial f_1(x)}{\partial x_m}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_p(x)}{\partial x_1}& \cdots & \frac{\partial f_p(x)}{\partial x_m}\end{array}\right]\in R^{p\times m}$$

并称之为向量函数 $f(x)$ 在 $x$ 处的 $Jacobian$ 矩阵或协梯度矩阵，其第$(i,j)$个元素定义为向量函数 $f(x)$ 的第 $i$ 个分量 $f_i(x)$ 相当于向量变元 $x$ 的第 $j$ 个偏导，即 $[D_{x}f(x){]}_{ij}=\frac{\partial f_i(x)}{\partial x_j}$。

---

实值矩阵函数的协梯度矩阵

---

矩阵列向量化，再求偏导

实值矩阵函数 $F(X)=[F_{kl}{]}_{k=1,l=1}^{p,q}\in R^{p\times q}$ 的情况下，其中，矩阵变元 $X\in R^{m\times n}$。

为了使用向量函数的行向量偏导和 $Jacobian$ 矩阵的定义，需要预先通过列向量化，将 $p\times q$ 矩阵函数转换成 $pq\times 1$ 列向量：
$$\begin{gathered} f(vecX)\stackrel{\Delta }{=}vec(F(X))\in R^{pq\times 1} \\ =[F_{11}(X),\cdots ,F_{p1}(X),\cdots ,F_{1q}(X),\cdots ,F_{pq}(X){]}^T \end{gathered}$$

于是，矩阵函数 $F(X)$ 的行向量偏导定义为
$$\begin{gathered} D_{ve{c}^T(X)}F(X)\stackrel{\Delta }{=}\frac{\partial f(vecX)}{\partial ve{c}^T(X)}=\frac{\partial vec(F(X))}{\partial ve{c}^T(X)}\in R^{pq\times mn} \\ pq\times 1 \end{gathered}$$ $pq\times 1$ 表示分子维数，$1\times mn$ 表示分母维数，根据分子布局来看整体维数为 $pq\times 1\times 1\times mn=pq\times mn$

其具体表达式为$$\begin{gathered} D_{ve{c}^T(X)}F(X) \\ ={\left[\frac{\partial F_{11}}{\partial ve{c}^T(X)},\cdots ,\frac{\partial F_{p1}}{\partial ve{c}^T(X)},\cdots ,\frac{\partial F_{1q}}{\partial ve{c}^T(X)},\cdots ,\frac{\partial F_{pq}}{\partial ve{c}^T(X)}\right]}^T \\ =\left[\begin{array}{ccccccc}\frac{\partial F_{11}}{\partial X_{11}}& \cdots & \frac{\partial F_{11}}{\partial X_{m1}}& \cdots & \frac{\partial F_{11}}{\partial X_{1n}}& \cdots & \frac{\partial F_{11}}{\partial X_{mn}}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ \frac{\partial F_{p1}}{\partial X_{11}}& \cdots & \frac{\partial F_{p1}}{\partial X_{m1}}& \cdots & \frac{\partial F_{p1}}{\partial X_{1n}}& \cdots & \frac{\partial F_{p1}}{\partial X_{mn}}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ \frac{\partial F_{1q}}{\partial X_{11}}& \cdots & \frac{\partial F_{1q}}{\partial X_{m1}}& \cdots & \frac{\partial F_{1q}}{\partial X_{1n}}& \cdots & \frac{\partial F_{1q}}{\partial X_{mn}}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ \frac{\partial F_{pq}}{\partial X_{11}}& \cdots & \frac{\partial F_{pq}}{\partial X_{m1}}& \cdots & \frac{\partial F_{pq}}{\partial X_{1n}}& \cdots & \frac{\partial F_{pq}}{\partial X_{mn}}\end{array}\right] \end{gathered}$$

---

实值标量函数的 $Hessian$ 矩阵 （对称矩阵）

---

$\frac{\partial Scalar}{\partial Vector}$

---

实值函数 $f(x)$ 相对于 $m\times 1$ 实向量 $x$ 的二阶偏导是一个由 $m^2$ 个二阶偏导组成的矩阵（称为 $Hessian$ 矩阵），定义为
$$\frac{{\partial }^{2}f(x)}{\partial x\partial x^T}=\frac{\partial }{\partial x^T}\left[\frac{\partial f(x)}{\partial x}\right]$$或记作$${\nabla }_x^{2}f(x)=D_x({\nabla }_{x}f(x))=D_{x}g(x)$$即实值标量函数 $f(x)$ 的 $Hessian$ 矩阵是梯度向量函数 $g(x)={\nabla }_{x}f(x)$ 的协梯度矩阵（$Jacobian$ 矩阵）。

---

$\frac{\partial Scalar}{\partial Matrix}$

---

实值函数 $f(X)$ 相对于 $m\times n$ 实向量 $X$ 的二阶偏导是一个由 $mn$ 个二阶偏导组成的矩阵（称为 $Hessian$ 矩阵），定义为

$$\frac{{\partial }^{2}f(X)}{\partial X\partial X^T}=\frac{\partial }{\partial X^T}\left[\frac{\partial f(X)}{\partial X}\right]$$或记作$${\nabla }_X^{2}f(X)={\nabla }_{X^T}({\nabla }_{X}f(X))=D_{X}G(X)$$即实值标量函数 $f(X)$ 的 $Hessian$ 矩阵是梯度向量函数 $G(X)={\nabla }_{X}f(X)$ 的协梯度矩阵（$Jacobian$ 矩阵）。

---

多变量的全微分：函数 $f(x_1,\cdots ,x_m)$ 在点 $(x_1,\cdots ,x_m)$ 可微分，记为$$df(x_1,\cdots ,x_m)=\frac{\partial f}{\partial x_1}d{x}_1+\cdots +\frac{\partial f}{\partial x_m}d{x}_m$$

实矩阵微分：

实值标量函数 $f(x)$，变元为 $x=[x_1,\cdots ,x_m{]}^T\in R^m$

$$df(x_1,\cdots ,x_m)=\frac{\partial f(x)}{\partial x_1}d{x}_1+\cdots +\frac{\partial f(x)}{\partial x_m}d{x}_m=\left[\frac{\partial f(x)}{\partial x_1},\cdots ,\frac{\partial f(x)}{\partial x_m}\right]\left[\begin{array}{c}d{x}_1\\ ⋮\\ d{x}_m\end{array}\right]$$

或简记为 $df(x)=\frac{\partial f(x)}{\partial x^T}dx$，其中$$\frac{\partial f(x)}{\partial x^T}=\left[\frac{\partial f(x)}{\partial x_1},\cdots ,\frac{\partial f(x)}{\partial x_m}\right]$$
$$dx=[d{x}_1,\cdots ,d{x}_m{]}^T$$
实值标量函数 $f(X)$，变元为 $m\times n$ 实矩阵 $X=[x_1,\cdots ,x_n]\in R^{m\times n}$。记 $x_j=[x_{1j},\cdots ,x_{mj}{]}^T,j=1,\cdots ,n$

$$\begin{gathered} df(X)=\frac{\partial f(X)}{\partial x_1}d{x}_1+\cdots +\frac{\partial f(X)}{\partial x_n}d{x}_n \\ =\left[\frac{\partial f(X)}{\partial X_{11}},\cdots ,\frac{\partial f(X)}{\partial X_{m1}}\right]\left[\begin{array}{c}d{X}_{11}\\ ⋮\\ d{X}_{m1}\end{array}\right]+\cdots +\left[\frac{\partial f(X)}{\partial X_{1n}},\cdots ,\frac{\partial f(X)}{\partial X_{mn}}\right]\left[\begin{array}{c}d{X}_{1n}\\ ⋮\\ d{X}_{mn}\end{array}\right] \\ =\left[\frac{\partial f(X)}{\partial X_{11}},\cdots ,\frac{\partial f(X)}{\partial X_{m1}},\cdots ,\frac{\partial f(X)}{\partial X_{1n}},\cdots ,\frac{\partial f(X)}{\partial X_{mn}}\right]\left[\begin{array}{c}d{X}_{11}\\ ⋮\\ d{X}_{m1}\\ ⋮\\ d{X}_{1n}\\ ⋮\\ d{X}_{mn}\end{array}\right] \end{gathered}$$

或简记为$$df(X)=rvec(A)\cdot vec(dX)$$式中 $revc(A)$ 是 $Jacobian$ 矩阵的行向量化，并且$$dX=\left[\begin{array}{ccc}d{X}_{11}& \cdots & d{X}_{1n}\\ ⋮& \ddots & ⋮\\ d{X}_{m1}& \cdots & d{X}_{mn}\end{array}\right]$$以及$$A=D_{X}f(X)=\frac{\partial f(X)}{\partial X^T}=\left[\begin{array}{ccc}\frac{\partial f(X)}{\partial X_{11}}& \cdots & \frac{\partial f(X)}{\partial X_{m1}}\\ \cdots & \ddots & ⋮\\ \frac{\partial f(X)}{\partial X_{1n}}& \cdots & \frac{\partial f(X)}{\partial X_{mn}}\end{array}\right]$$

由$$rvec(A)=(vec(A^T){)}^T$$ $$tr(B^{T}C)=(vec(B){)}^{T}vec(C)$$得$$df(X)=rvec(A)vec(dX)=(vec(A^T){)}^{T}vec(dX)=tr(AdX)$$

重要的是$${\nabla }_{X}f(X)=\frac{\partial f(X)}{\partial X}=[\begin{array}{ccc}\frac{\partial f(X)}{\partial X_{11}}& \cdots & \\ ⋮& \ddots & \\ \frac{\partial f(X)}{\partial X_{m1}}& \cdots & \end{array}$$