一个F范数对矩阵求导例子

==PART1 ==

1. 问题

如何求下列表达式中的未知参数W？求偏导？
$$\min f(W)=\underset{w}{\min }\Vert (XW\circ \breve{D})B{\Vert }_F^2\text{\hspace{1em}(0)}$$
其中 $只有W是未知参数$，且$X\in R^{n\times m},W\in R^{m\times c},\breve{D}\in R^{n\times c},B\in R^{c\times c}$
同时$\circ$ 表示 Hadamard积，即矩阵按位乘（matlab的点乘）。

2. 推导过程

令$S=XW\circ \breve{D}$,则
$$\begin{gathered} f(W)=\Vert (XW\circ \breve{D})B{\Vert }_F^2 \\ =\Vert SB{\Vert }_F^2 \\ =tr(SB{B}^T{S}^T)\text{\hspace{1em}(1)} \end{gathered}$$
由于有$$\frac{\partial tr(XB{X}^T)}{\partial X}=X{B}^T+XB，\text{\hspace{1em}(2)}$$
所以
$$\frac{\partial f}{\partial S}=SB{B}^T+SB{B}^T=2SB{B}^T\text{\hspace{1em}(3)}$$
继续求解：
$$\begin{gathered} df=tr[(\frac{\partial f}{\partial S}{)}^{T}dS]=tr[(\frac{\partial f}{\partial S}{)}^{T}d(XW\circ \breve{D})] \\ =tr[(\frac{\partial f}{\partial S}{)}^T(d(XW)\circ \breve{D})] \\ =tr[(\frac{\partial f}{\partial S}{)}^T(XdW\circ \breve{D})] \\ =tr[(\frac{\partial f}{\partial S}{)}^T(\breve{D}\circ XdW)] \\ =tr[(\frac{\partial f}{\partial S}\circ \breve{D}{)}^{T}XdW)] \\ =tr[(X^T(\frac{\partial f}{\partial S}\circ \breve{D}){)}^{T}dW] \end{gathered}$$
所以：
$$\begin{gathered} \frac{\partial f}{\partial W}=X^T(\frac{\partial f}{\partial S}\circ \breve{D})=X^T[(2SB{B}^T)\circ \breve{D}] \\ =X^T(2(XW\circ \breve{D})B{B}^T\circ \breve{D}) \end{gathered}$$

3. 说明

• 本篇内容属于标量对矩阵的求导，还有更难的矩阵对矩阵求导
• 本文内容经 矩阵求导术 相关内容推导而来，更详细说明请参阅矩阵求导术相关内容 https://blog.csdn.net/lgl123ok/article/details/120780368
• 重点公式：
  
  
  

---

==PART2 ==

问题2： $\Vert XW-Z{\Vert }_F^2$对W求偏导是多少？
答：令 $f(W)=\Vert XW-Z{\Vert }_F^2$, S=XW-Z
则 $$\frac{\partial f}{\partial S}=2S=2(XW-Z)$$

$$\begin{gathered} df=tr[(\frac{\partial f}{\partial S}{)}^{T}dS]=tr[(\frac{\partial f}{\partial S}{)}^{T}d(XW-Z)] \\ =tr[(\frac{\partial f}{\partial S}{)}^T(XdW)] \\ =tr[(X^T\frac{\partial f}{\partial S}{)}^{T}dW] \end{gathered}$$
所以：
$$\begin{gathered} \frac{\partial f}{\partial W}=X^T\frac{\partial f}{\partial S}=X^T[2(XW-Z)] \\ =2X^T(XW-Z) \end{gathered}$$
结论是正确的，参 Multi-label feature selection via manifold regularization and
dependence maximization 的第11式。

---

==PART3 ==

问题3： $\Vert Q-W\circ A+\frac{1}{\rho }{\Gamma }_1{\Vert }_F^2$对W求偏导是多少？ 圈是点乘。
答：令 $f(W)=\Vert Q-W\circ S+\frac{1}{\rho }{\Gamma }_1{\Vert }_F^2$, $S=Q-W\circ S+\frac{1}{\rho }{\Gamma }_1$
则 $$\frac{\partial f}{\partial S}=2S=2(Q-W\circ A+\frac{1}{\rho }{\Gamma }_1)$$

$$\begin{gathered} df=tr[(\frac{\partial f}{\partial S}{)}^{T}dS]=tr[(\frac{\partial f}{\partial S}{)}^{T}d(Q-W\circ A+\frac{1}{\rho }{\Gamma }_1)] \\ =tr[(\frac{\partial f}{\partial S}{)}^T(-A\circ dW)] \\ =tr[(\frac{\partial f}{\partial S}\circ (-A){)}^{T}dW] \end{gathered}$$
所以：
$$\begin{gathered} \frac{\partial f}{\partial W}=\frac{\partial f}{\partial S}\circ (-A)=2(Q-W\circ A+\frac{1}{\rho }{\Gamma }_1)\circ (-A) \\ =-2(Q-W\circ A+\frac{1}{\rho }{\Gamma }_1)\circ A \end{gathered}$$

这个只能适当参考。