矩阵迹（Trace）的性质及简单推导

1. 基础定义

迹（Trace） 是一个矩阵的对角线元素之和。对于矩阵 $A$，其迹定义为：

$$\text{Trace}(A)=\sum _i{A}_{ii}$$

迹的一个重要性质是：

$$\text{Trace}(AB)=\text{Trace}(BA)$$

即两个矩阵相乘后的迹不依赖于它们的顺序。

2. 迹对矩阵的导数

考虑矩阵 $X$，我们推导一些常见的迹函数的导数公式。

2.1 对 $\text{Trace}(AX)$ 求导

假设 $A$ 是已知矩阵，$X$ 是需要对其求导的矩阵。我们计算 $\frac{\partial }{\partial X}\text{Trace}(AX)$：

$$\text{Trace}(AX)=\sum _{i,j}{A}_{ij}{X}_{ji}$$

对 $X$ 求导：

$$\frac{\partial }{\partial X_{kl}}\text{Trace}(AX)=A_{lk}$$

将其转换为矩阵形式：

$$\frac{\partial }{\partial X}\text{Trace}(AX)=A^T$$

2.2 对 $\text{Trace}(X^{T}AX)$ 求导

考虑更复杂的形式 $\text{Trace}(X^{T}AX)$，其中 $A$ 是已知矩阵，$X$ 是需要对其求导的矩阵。

展开迹：

$$\text{Trace}(X^{T}AX)=\sum _{i,j,k}{X}_{ki}{A}_{ij}{X}_{kj}$$

对 $X_{pq}$ 求导：

$$\frac{\partial }{\partial X_{pq}}\sum _{i,j,k}{X}_{ki}{A}_{ij}{X}_{kj}=A_{qq}{X}_{pq}+X_{pq}{A}_{qq}^T$$

综合所有项后，得到：

$$\frac{\partial }{\partial X}\text{Trace}(X^{T}AX)=AX+X{A}^T$$

2.3 总结迹的导数性质

1. $\frac{\partial }{\partial X}\text{Trace}(AX)=A^T$

   • 迹函数可以通过矩阵元素的线性组合进行转换，导数为 $A$ 的转置。

2. $\frac{\partial }{\partial X}\text{Trace}(X^{T}AX)=AX+X{A}^T$

   • 二次型矩阵的迹求导需要分别对矩阵 $X$ 的左右项进行求导，并合并结果。

备注

个人水平有限，有问题随时交流~