交叉熵损失和负熵似然损失（对分类器有用）

1. **交叉熵损失（Cross - Entropy Loss）**
   - **定义**
     - 交叉熵损失是用来衡量分类模型输出的概率分布与真实标签的概率分布之间的差异。假设对于一个分类任务，有 \(C\) 个类别，模型对第 \(i\) 个样本的输出是一个概率分布 \(\mathbf{p}_i = [p_{i1}, p_{i2}, \dots, p_{iC}]\)，其中 \(p_{ic}\) 表示模型预测样本属于第 \(c\) 类的概率。真实标签的概率分布为 \(\mathbf{y}_i = [y_{i1}, y_{i2}, \dots, y_{iC}]\)，如果样本 \(i\) 属于第 \(c\) 类，则 \(y_{ic} = 1\)，其他为 0。那么交叉熵损失对于第 \(i\) 个样本可以表示为：
\[
H(\mathbf{y}_i,\mathbf{p}_i) = - \sum_{c = 1}^C y_{ic} \log p_{ic}
\]
   - **在分类器中的作用**
     - **衡量差异**：它能够有效地衡量模型预测结果和真实结果之间的差异程度。例如，当模型预测的概率分布与真实分布完全一致时，交叉熵损失为 0，这说明模型的预测非常准确；而当模型预测的概率分布与真实分布差异很大时，交叉熵损失会很大，表明模型需要进一步优化。
     - **优化方向引导**：在训练分类器时，通过梯度下降等优化算法来最小化交叉熵损失，可以引导模型的参数朝着使预测结果更接近真实结果的方向调整。比如在二分类问题中，使用交叉熵损失可以使分类器的输出值逐渐接近 1（正类）或 0（负类），从而提高分类的准确性。
2. **负对数似然损失（Negative Log - Likelihood Loss）**
   - **定义**
     - 负对数似然损失与交叉熵损失在很多情况下是等价的。它主要是从似然估计的角度出发，通过对数似然函数来构建损失函数。对于上述分类任务，负对数似然损失对于第 \(i\) 个样本可以表示为：
\[
-\log p_{i,y_i}
\]
其中，\(y_i\) 是第 \(i\) 个样本的真实类别标签。例如，当样本属于第 \(c\) 类时，损失就是 \(-\log p_{ic}\)。
   - **在分类器中的作用**
     - **最大化似然估计对应**：负对数似然损失与最大似然估计密切相关。在训练分类器时，最小化负对数似然损失相当于最大化似然估计。也就是让模型在训练数据上出现的概率最大，这样可以使得分类器在训练数据上能够更好地拟合，从而提高在测试数据上的性能。
     - **对错误分类的惩罚**：当模型对某一类别的预测概率很低，但真实标签属于该类别时，负对数似然损失会很大。这会对模型的错误分类进行较强的惩罚，使得模型在训练过程中更加关注那些被错误分类的样本，从而调整模型参数以减少这类错误。

在实际的分类器训练中，交叉熵损失和负对数似然损失是两种常用的损失函数，它们在很多情况下可以互换使用，能够有效地引导分类器的学习过程，提高分类的准确率。