机器学习复习（7）——损失函数

交叉熵损失函数

交叉熵损失函数是深度学习中常用的一种损失函数，特别是在分类问题中。它衡量的是模型预测的概率分布与真实标签的概率分布之间的差异。下面是交叉熵损失函数的推导过程:
 1. 概率模型：在分类问题中，假设有一个模型预测出类别的概率为 。真实情况下，如果样本属于类别则这个类别的真实概率为1，
 其它类别的为0。
 2 似然函数：对于单个样本，其似然函数表示为模型预测正确的概率，即 。

其中是类别的总数。对于属于类别 的样本，这个似然函数简化为 。

3.对数似然：为了便于计算，通常对似然函数取对数，得到对数似然。
4. 损失函数：在机器学习中，我们通常最小化损失函数，而不是最大化似然函数。因此，我们取对数似然的负值作为损失函数，即交叉熵损失函数：。

在二分类问题中，交叉熵损失函数可以进一步简化。如果我们有两个类别,并且用表示样本属于类别 1的概率 (因此样本属于 类别 0 的概率为 , 则交叉熵损失函数为：