机器学习-雅可比式与多元高斯分布

1. 雅可比式

• 1.1 概念
  雅可比式也称为函数行列式，它是用来描述变量与变量之间变换关系的。假设$x,y\in R^n$，并且两者之间线性变换关系$y=Ax+\mu$（也可以展开表示为方程组形式)，则雅可比式可以表示为
  $$J=\left|\begin{array}{ccc}\frac{d{y}_1}{d{x}_1}& ...& \frac{d{y}_1}{d{x}_n}\\ \frac{d{y}_2}{d{x}_1}& ...& \frac{d{y}_2}{d{x}_n}\\ .& ...& .\\ .& ...& .\\ \frac{d{y}_n}{d{x}_1}& ...& \frac{d{y}_n}{d{x}_n}\end{array}\right|$$
  上式中每一行表示$y$中每一个分量$y_i$对每一个输入变量$x_i$的偏导

• 1.2 应用
  雅可比式一般用在多重积分的坐标变换以及多元变量的概率密度函数的求解，比如球面坐标与直角坐标的变换
  $$\begin{gathered} x=r\cos \varphi \cos \theta \\ y=r\cos \varphi \sin \theta \\ z=r\sin \varphi \\ J=\left|\begin{array}{ccc}\frac{dx}{dr}& \frac{dx}{d\varphi }& \frac{dx}{d\theta }\\ \frac{dy}{dr}& \frac{dy}{d\varphi }& \frac{dy}{d\theta }\\ \frac{dx}{dz}& \frac{dz}{d\varphi }& \frac{dz}{d\theta }\end{array}\right|=\left|\begin{array}{ccc}\cos \varphi \cos \theta & -r\sin \varphi \cos \theta & -r\cos \varphi \sin \theta \\ \cos \varphi \sin \theta & -r\sin \varphi \sin \theta & r\cos \varphi \cos \theta \\ \sin \varphi & r\cos \varphi & 0\end{array}\right| \end{gathered}$$

  在体积求解上存在$\iiint dxdydz=\iint |J|drd\varphi d\theta$

2. 多元高斯分布

• 2.1 概念
  当一个变量是多维，且每一个分量都满足高斯分布时，此时该变量符合多元高斯分布，概率密度函数一般表示为
  $$p(x)=\frac{1}{(2\pi {)}^{n/2}|\sum {|}^{-1/2}}\exp (-\frac{1}{2}(x-\mu {)}^T(\sum {)}^{-1}(x-\mu ))$$

  其中$\mu (\in R^n)$称为变量的均值，$\sum (\in R^{n\ast n})$称为变量的协方差，一般是对称方阵

• 2.2 推导概率密度函数
  （1）当变量$X$中各个分量彼此相互独立时，也都满足标准正态分布时，根据联合概率分布，可以得到
  $$\begin{gathered} p(x)=\prod _{i=1}^{n}p(x_i)=\frac{1}{(2\pi {)}^{1/2}}\exp (-\frac{1}{2}{x}_1^2)...\frac{1}{(2\pi {)}^{1/2}}\exp (-\frac{1}{2}{x}_n^2) \\ =\frac{1}{(2\pi {)}^{n/2}}\exp (-\frac{1}{2}{x}^{T}x) \end{gathered}$$

  （2）任意的多元高斯分布都可以通过标准多元正太分布线性变换得到，即$y=Ax+\mu$，这里要用到雅可比式的第二个应用,
  概率密度函数$p(y)=p(x)|J(x\to y)|$
  先将$x$表示成$y$的形式$x=A^{-1}(y-\mu )$，然后
  $$|J(x\to y)|=|A^{-1}|=\frac{1}{|A|}=\frac{1}{(|A^{T}A|{)}^{1/2}}$$

接下来
$$\begin{gathered} p(y)=\frac{1}{(2\pi {)}^{n/2}}\exp (-\frac{1}{2}{x}^{T}x)(|A^{T}A|{)}^{-1/2} \\ =\frac{1}{(2\pi {)}^{n/2}(|A^{T}A|{)}^{1/2}}\exp (-\frac{1}{2}(A^{-1}(y-\mu ){)}^T(A^{-1}(y-\mu ))) \\ =\frac{1}{(2\pi {)}^{n/2}(|A^{T}A|{)}^{1/2}}\exp (-\frac{1}{2}(y-\mu {)}^T(A^{T}A{)}^{-1}(y-\mu )) \\ =\frac{1}{(2\pi {)}^{n/2}|\sum {|}^{-1/2}}\exp (-\frac{1}{2}(y-\mu {)}^T(\sum {)}^{-1}(y-\mu )) \end{gathered}$$

其中 $$\sum =A^{T}A$$