交叉熵损失函数(Cross Entropy Error Function)与均方差损失函数(Mean Squared Error)

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

1.均方差损失函数(Mean Squared Error)

均方差损失函数是预测数据和原始数据对应点误差的平方和的均值。计算方式也比较简单
$$MSE=\frac{1}{N}(\hat{y}-y{)}^2$$

其中，N为样本个数。

2.交叉熵损失函数(Cross Entropy Error Function)

在分类问题中，尤其是在神经网络中，交叉熵函数非常常见。因为经常涉及到分类问题，需要计算各类别的概率，所以交叉熵损失函数又都是与sigmoid函数或者softmax函数成对出现。

比如用神经网络最后一层作为概率输出，一般最后一层神经网络的计算方式如下：
1.网络的最后一层得到每个类别的scores。
2.score与sigmoid函数或者softmax函数进行计算得到概率输出。
3.第二步得到的类别概率与真实类别的one-hot形式进行交叉熵计算。

二分类的交叉熵损失函数形式
$$\sum -y_{i}log({\hat{y}}_i)-(1-y_i)log(1-{\hat{y}}_i)$$
上面的$y_i$表示类别为1,${\hat{y}}_i$表示预测类别为1的概率。

而多分类的交叉熵损失函数形式为
$$-\sum _{i=1}^n{y}_{i}log({\hat{y}}_i)$$

上面的式子表示类别有n个。单分类问题的时候，n个类别是one-hot的形式，只有一个类别$y_i=1$，其他n-1个类别为0。

3.MSE与sigmoid函数不适合配合使用

MSE的loss为
$$MSE=-\frac{1}{N}(\hat{y}-y{)}^2$$
如果其与sigmoid函数配合使用，偏导数为
$$\frac{\partial Los{s}_i}{\partial w}=(y-\hat{y}){\sigma }^{\prime }(w{x}_i+b)x_i$$
其中
$${\sigma }^{\prime }(w{x}_i+b)=\sigma (w{x}_i+b)(1-\sigma (w{x}_i+b))$$

于是，在$\sigma (w{x}_i+b)$的值接近0或者1的时候，其导数都接近0。这样会导致模型一开始的学习速度非常慢，所以MSE一般不会与sigmoid函数配合使用。

4.交叉熵损失函数与sigmoid函数配合使用

交叉熵损失函数与sigmoid函数配合使用，最终损失函数求导的结果为
$$\frac{\partial Los{s}_i}{\partial w}=({\hat{y}}_i-y_i)x_i$$

由此可见，求导的结果与${\hat{y}}_i-y_i$与$x_i$的值有关，不会出现模型开始训练速度很慢的现象。

具体的推导过程见参考文献1
交叉熵损失函数求导

5.交叉熵损失函数与softmax函数配合使用

前面提到，在神经网络中，交叉熵损失函数经常与softmax配合使用。
$$Loss=-\sum _i{t}_{i}ln{y}_i$$
softmax函数
$$y_i=\frac{e^i}{{\sum }_j{e}^j}=1-\frac{{\sum }_{j\ne i}{e}^j}{{\sum }_j{e}^j}$$

接下来求导

$$\begin{array}{rl}\frac{\partial Los{s}_i}{{\partial }_i}& =-\frac{\partial ln{y}_i}{{\partial }_i}\\ & =-\frac{{\sum }_j{e}^j}{e^i}\cdot \frac{\partial (\frac{e_i}{{\sum }_j{e}^j})}{{\partial }_i}\\ & =-\frac{{\sum }_j{e}^j}{e^i}\cdot (-\sum _{j\ne i}{e}^j)\cdot \frac{\partial (\frac{1}{{\sum }_j{e}^j})}{{\partial }_i}\\ & =\frac{{\sum }_j{e}^j\cdot {\sum }_{j\ne i}{e}^j}{e^i}\cdot \frac{-e^i}{({\sum }_j{e}^j{)}^2}\\ & =-\frac{{\sum }_{j\ne i}{e}^j}{{\sum }_j{e}^j}\\ & =-(1-\frac{e^i}{{\sum }_j{e}^j})\\ & =y_i-1\end{array}$$

由此可见，交叉熵函数与softmax函数配合，损失函数求导非常简单！

参考文献

1.https://blog.csdn.net/bitcarmanlee/article/details/51473567