神经网络的基础——Logistic回归中的反向传播算法及其推导

最近在看Andrew Ng的DeepLearning.ai上的深度学习课程（网易云课堂上有中文字幕版），把之前学的logistic回归又复习了一遍，不得不佩服Andrew Ng，大师就是大师，深入浅出，讲得太好了，虽然logistic回归的代价函数很简单，可以直接求梯度，但是logistic回归也可以用所谓的反向传播算法计算梯度，了解了logistic中的back propagation，对后续理解神经网络的back propagation大有帮助。
这篇文章不是单独用来讲logistic回归的，重点放在用backprop来计算logistic回归的梯度上，所以只对logistic回归作一点必要的说明。

关于logistic回归的几点说明

logistic回归是一种参数学习法，单纯的logistic回归只能用来解决二分类问题，当然，可以用OvR或者OVO的方法实现多分类问题。logistic回归的目的就是用一个式子拟合给定的数据，使得用这个式子计算得到的结果和真实结果的误差达到最小，这样来了一组新的数据，我们就可以用这个式子来预测了，输入是x，输出是$\hat{\mathrm{y}}$，$\hat{\mathrm{y}}\ge 0.5$时，我们就把其归类为 1，否则，归类为 0。

logistic回归的假设函数

之前提到了，我们需要有一个式子来拟合给定的数据，这个式子就是logistic回归的假设函数。logistic回归的假设函数就是在线性回归的基础上，加了一个sigmoid函数，将其值域压缩到（0，1）之间：
$\mathrm{z}={\mathrm{w}}^{T}x+b$
$\sigma (\mathrm{z})=\frac{1}{1+e^{-z}}$
$\hat{\mathrm{y}}=\mathrm{a}=\sigma (\mathrm{z})$

公式及符号说明

设x为一个样本数据，样本共有$n_x$个特征，x为一个$n_x$维列向量，即x的维度是（$n_x$，1）。w为x的参数，维度和x相同，也是一个$n_x$维列向量，b是一个数，也就是所谓的偏置。z和$\hat{\mathrm{y}}$都是一个数,z是中间变量，$\hat{\mathrm{y}}$是预测值，a在这里和$\hat{\mathrm{y}}$相等，它在神经网络里表示通过激活函数所得到的值。y是输入值对应的真实值，就是标签，也是一个数。
我们之前肯定还遇到过其他的表示方式：
$z={\theta }^T{x}_b$
其中$\theta$和$x_b$都是一个$n_x$ + 1 维的列向量，第一行分别为${\theta }_0$和$x_0$，这样，$\theta$[1:]就相当于w，${\theta }_0$$x_0$就等于b。
这两种表示方法是等价的，只不过在神经网络里，我们更习惯将偏置b单独拿出来，所以在logistic回归中，我也这么做。

损失函数和代价函数

我们在逻辑函数用到的损失函数为：
$\mathrm{L}(\hat{y},y)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$
这里的损失函数是针对一个训练样本来说的。而代价函数就是对所有样本的损失函数求平均。假设有m个样本，则代价函数为：
$J(w,b)=\frac{1}{m}\sum _{i=1}^m\mathrm{L}({\hat{y}}^{(i)},y^{(i)})=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log ({\hat{y}}^{(i)})+(1-y^{(i)})\log (1-{\hat{y}}^{(i)})]$
我们最终的目的就是要找到这样一组w和b，使得$J(w,b)$最小。用到的方法就是大名鼎鼎的梯度下降法。对于logistic的代价函数，它的梯度是非常容易求的，我们可以直接对w中的每个元素和b求偏导，但是为了与神经网络联系起来，这里我们采用反向传播的思想来求解梯度。

正向传播

先来看看logistic回归的正向传播过程，假设这里$n_x$=2，也就是输入样本只有两个特征。

$\mathrm{z}={\mathrm{w}}^{T}x+b$
$\hat{\mathrm{y}}=\mathrm{a}=\sigma (\mathrm{z})$
$\mathrm{L}(a,y)=-y\log (a)-(1-y)\log (1-a)$
根据上述公式，我们知道，logistic回归的正向传播过程，就是给定输入x，先经过一个线性加法器，得到z，随后送入激活函数（这里logistic回归的激活函数就是sigmoid函数），得到a，这里的a也就是预测值$\hat{\mathrm{y}}$，之后可以计算损失函数。

梯度下降与反向传播过程

单个样本

梯度下降过程我们都很熟悉。这里我们需要学习得到的参数就是w和b，所以需要计算w和b的梯度。我们还是先以一个训练样本为例，稍后再推广到m个训练样本的情况。
计算梯度，对w而言，就是求$\mathrm{L}(a,y)$关于$w_1$和$w_2$的偏导，对b而言，就是计算$\mathrm{L}(a,y)$对b的偏导。
根据链式法则，有：
$\frac{\partial \mathrm{L}(a,y)}{\partial w_1}=\frac{\mathrm{d}\mathrm{L}(a,y)}{da}\cdot \frac{da}{dz}\cdot \frac{\partial z}{\partial w_1}$

$\frac{\partial \mathrm{L}(a,y)}{\partial w_2}=\frac{\mathrm{d}\mathrm{L}(a,y)}{da}\cdot \frac{da}{dz}\cdot \frac{\partial z}{\partial w_2}$

$\frac{\partial \mathrm{L}(a,y)}{\partial b}=\frac{\mathrm{d}\mathrm{L}(a,y)}{da}\cdot \frac{da}{dz}\cdot \frac{\partial z}{\partial b}$

损失函数是已知的，我们很容易可以得到：

$\frac{\mathrm{d}\mathrm{L}(a,y)}{da}=-\frac{y}{a}+\frac{1-y}{1-a}$

$\frac{da}{dz}=a(1-a)$

所以：

$\frac{\mathrm{d}\mathrm{L}(a,y)}{dz}=\frac{\mathrm{d}\mathrm{L}(a,y)}{da}\cdot \frac{da}{dz}=a-y$

再把它带入到最上面的三个式子，就得到了三个偏导：

$\frac{\partial \mathrm{L}(a,y)}{\partial w_1}=(a-y)x_1=\frac{\mathrm{d}\mathrm{L}(a,y)}{dz}{x}_1$

$\frac{\partial \mathrm{L}(a,y)}{\partial w_2}=(a-y)x_2=\frac{\mathrm{d}\mathrm{L}(a,y)}{dz}{x}_2$

$\frac{\partial \mathrm{L}(a,y)}{\partial b}=a-y=\frac{\partial \mathrm{L}(a,y)}{\partial z}$

为了方便表示，我们用dz,da,dw,db分别表示损失函数L对z,a,w,b的偏导，也就是说我们用d Var来表示损失函数L对变量Var的偏导，这仅仅是方便表示而已，这里的d并不是微分的意思。

现在，我们来看看究竟什么是反向传播。
其实，刚刚计算偏导时已经用到了反向传播的方法。我们来看看反向传播的流程图。

在正向传播输出后，我们可以先求出da，进而根据$dz=g^{\prime }(z)da$求出dz，其中$g^{\prime }(z)$为激活函数的导数，具体到logistic回归，就是sigmoid函数的导数。从da求出dz的过程，就像是从输出单元反向传播到上一个单元一样，同理，db=dz，又可以求得db，dw=xdz，可以求得相应的dw，这就是反向传播运用在logistic回归中的过程。

我们总结一下整个过程：
先根据正向传播的两个公式求出z和a，然后开始反向传播过程，先求出da，再求出dz，然后是dw和db，这里的dw是一个列向量$(d{w}_1,d{w}_2{)}^T$，这就是一次求梯度的过程，然后根据：
$w=w-\alpha \cdot dw$
$b=b-\alpha \cdot db$
更新w和b，随后进行新一轮迭代。

多个样本

前面讲的梯度下降和反向传播只是针对一个训练样本来说的，现在我们将其推广到m个样本中，其中每个样本都有$n_x$个特征。第i个样本记为$x^{(i)}$，对应的标签为$y^{(i)}$，其中，把一个样本记为一个列向量，每个标签的值是0或1。
对于m个样本，我们要最小化的代价函数$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L(a^{(i)},y^{(i)})$，也就是说，我们应该对每个样本都单独求一次梯度，随后取m个样本得到的梯度的平均值，就是最后需要的梯度。
因此：
$dw=\frac{1}{m}\sum _{i=1}^{m}d{w}^{(i)}$

$db=\frac{1}{m}\sum _{i=1}^{m}d{b}^{(i)}$
(dw是$n_x$维列向量，b是一个数）

我们可以用和单个样本同样的方法求每次的梯度，最后加起来求平均即可。但是这样必须要使用循环才可以完成，我们可以使用向量化的方法，去掉循环。

对于单个样本，可以求得$z^{(i)}=w^T{x}^{(i)}+b$，我们将m个样本横向排列，也就是令$X=(x^{(1)},x^{(2)},......,x^{(m)})$，很显然，这里的$X$是一个维度是$(n_x,m)$的矩阵，这样对于每一个$x^{(i)}$求得的$z^{(i)}$，也将其横向排列起来，就可以得到$Z=(z^{(1)},z^{(2)},......,z^{(m)})$，Z的维度是$(1,m)$。这样我们可以得到$Z=w^{T}X+b$。
这里我们需要做一点说明：$Z$的维度是$(1,m)$，$X$的维度是$(n_x,m)$，$w$的维度是$(n_x,1)$，$w^T$的维度就是$(1,n_x)$，这样$w^{T}X$的维度就是(1,m)，和$Z$相同。但是这里b只是一个数，这里$w^{T}X+b$就是对$w^{T}X$的每一个元素都加上b，因为每一个输入进去的样本来说，它们的偏置都是相同的，都是b。在Python中，numpy的广播功能又恰好允许我们这么写，因此，这里就不再把b也扩展成$(1,m)$的向量了。
在Python中，我们就可以这么写:

import numpy as np
Z=np.dot(W.T,X) + b

同样的道理，对于每一个$a^{(i)}$，将其横向排列起来，就有A=$(a^{(1)},a^{(2)},......,a^{(m)})$，也就是$A=\sigma (Z)$，可以这样来写：

A = 1 / (1 + np.exp(-Z))

前面我们已经得到$d{z}^{(i)}=a^{(i)}-y^{(i)}$，我们已经将$a^{(i)}$排列起来得到$A$，很容易想到，我们应该将$y^{(i)}$也相同地排列起来，即令$Y=(y^{(1)},y^{(2)},......,y^{(m)})$，这样就可以得到$dZ=A-Y$，可以这么写：

dZ = A - Y

现在还剩下$dw$和$db$需要计算，先看$db$，因为$d{b}^{(i)}=d{z}^{(i)}$，$db=\frac{1}{m}\sum _{i=1}^{m}d{b}^{(i)}$，所以可以这么写：

db = 1 / m * np.sum(dZ)

最后来看$dw$。对于单个样本，有$d{w}^{(i)}=x^{(i)}d{z}^{(i)}$，而$dw=\frac{1}{m}\sum _{i=1}^{m}d{w}^{(i)}=\frac{1}{m}\sum _{i=1}^m{x}^{(i)}d{z}^{(i)}$，其中，$dw$是一个维度是$(n_x,1)$的列向量，
而$\sum _{i=1}^m{x}^{(i)}d{z}^{(i)}=(x^{(1)},x^{(2)},......,x^{(m)})\cdot (d{z}^{(1)},d{z}^{(2)},......,d{z}^{(m)}{)}^T=X\cdot d{Z}^T$，所以$dw=\frac{1}{m}Xd{Z}^T$。在Python中可以这么写：

dw = 1 / m * np.dot(X, dZ.T)

至此，我们就向量化了全部的梯度。
完整的梯度下降过程如下（这只是一个简化的代码，把backprop的思想体现一下而已，假装w和b已经随机初始化过）：

import numpy as np
def gradient_descent(alpha=0.01,iters=1000):
	for _ in range(iters):
		Z = np.dot(W.T,X) + b
		A = 1 / (1 + np.exp(-Z))
		dZ = A - Y
		dw = 1 / m * np.dot(X, dZ.T)
		db = 1 / m * np.sum(dZ)
		dw -= alpha * dw
		db -= alpha * db

总结

终于写完了，反向传播算法是神经网络求解梯度的基础，logistic回归可以看做是没有隐藏层的，只有输入层和输出层且输出层只有一个单元的神经网络，将反向传播算法应用在logistic回归中的确是大材小用了，但是理解了logistic回归中的反向传播，对理解神经网络中的反向传播是大有帮助的，因为神经网络每一层之间的连接都可以看做是若干个logistic回归。
下一篇就先写一写浅层神经网络中的BP算法。