矩阵求导法则总结

1. 矩阵Y对标量x求导

相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了
$$Y=[y_{ij}]-->\frac{dY}{dx}=\frac{d{y}_{ij}}{dx}$$

2. 标量y对列向量X求导：

注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量
$$y=f(x_1,x_2,..,x_n)-->dy/dX=(Dy/D{x}_1,Dy/D{x}_2,..,Dy/D{x}_n{)}^{\prime }$$

3. 行向量Y’对列向量X求导：

注意1×M向量对N×1向量求导后是N×M矩阵。
将Y的每一列对X求偏导，将各列构成一个矩阵。
重要结论：
$$\begin{gathered} d{X}^{\prime }/dX=I \\ d(AX{)}^{\prime }/dX=A^{\prime } \end{gathered}$$

4. 列向量Y对行向量$X^{\prime }$求导：

转化为行向量Y’对列向量X的导数，然后转置。
注意M×1向量对1×N向量求导结果为M×N矩阵。
$$dY/d{X}^{\prime }=(d{Y}^{\prime }/dX{)}^{\prime }$$

5. 向量积对列向量X求导运算法则：

注意与标量求导有点不同。
$$\begin{gathered} d(U{V}^{\prime })/dX=(dU/dX)V^{\prime }+U(d{V}^{\prime }/dX) \\ d(U^{\prime }V)/dX=(d{U}^{\prime }/dX)V+(d{V}^{\prime }/dX)U^{\prime } \end{gathered}$$
重要结论：
$$\begin{gathered} d(X^{\prime }A)/dX=(d{X}^{\prime }/dX)A+(dA/dX)X^{\prime }=IA+0X^{\prime }=A \\ d(AX)/d{X}^{\prime }=(d(X^{\prime }{A}^{\prime })/dX{)}^{\prime }=(A^{\prime }{)}^{\prime }=A \\ d(X^{\prime }AX)/dX=(d{X}^{\prime }/dX)AX+(d(AX{)}^{\prime }/dX)X=AX+A^{\prime }X \end{gathered}$$

6. 矩阵Y对列向量X求导：

将Y对X的每一个分量求偏导，构成一个超向量。
注意该向量的每一个元素都是一个矩阵。

7. 矩阵积对列向量求导法则：

$$\begin{gathered} d(uV)/dX=(du/dX)V+u(dV/dX) \\ d(UV)/dX=(dU/dX)V+U(dV/dX) \end{gathered}$$
重要结论：
$$d(X^{\prime }A)/dX=(d{X}^{\prime }/dX)A+X^{\prime }(dA/dX)=IA+X^{\prime }0=A$$

8. 标量y对矩阵X的导数：

类似标量y对列向量X的导数，
把y对每个X的元素求偏导，不用转置。
$dy/dX=[Dy/Dx(ij)]$
重要结论：
(1) $y=U^{\prime }XV=\sum \sum u(i)x(ij)v(j)$，
则, $dy/dX=[u(i)v(j)]=U{V}^{\prime }$
(2) $y=U^{\prime }{X}^{\prime }XU$
则, $dy/dX=2XU{U}^{\prime })$
(3) $y=(XU-V{)}^{\prime }(XU-V)$
则
$dy/dX=d(U^{\prime }{X}^{\prime }XU-2V^{\prime }XU+V^{\prime }V)/dX=2XU{U}^{\prime }-2V{U}^{\prime }+0=2(XU-V)U^{\prime }$

9. 矩阵Y对矩阵X的导数：

将Y的每个元素对X求导，然后排在一起形成超级矩阵。

10.乘积的导数

$d(f\ast g)/dx=(d{f}^{\prime }/dx)g+(dg/dx)f^{\prime }$

结论
$d(x^{\prime }Ax)=(d(x^{\prime \prime })/dx)Ax+(d(Ax)/dx)(x^{\prime \prime })=Ax+A^{\prime }x$
（注意：''是表示两次转置）

11. 假设A为m*n的矩阵，x为n维列向量，则

（1）$\frac{d(Ax)}{dx}=A^{\prime }$
（2）$\frac{d(x^{\prime }A)}{dx}=A$
（3）$\frac{d(x^{\prime }Ax)}{dx}=(A^{\prime }+A)x$