理解Logits、Softmax和softmax_cross_entropy_with_logits的区别

理解Logits、Softmax和softmax_cross_entropy_with_logits的区别

技术背景

在机器学习尤其是深度学习中，分类问题是一个常见的任务。在解决分类问题时，我们需要将模型的输出转换为概率分布，以便确定每个类别的可能性。同时，我们需要一个损失函数来衡量模型预测结果与真实标签之间的差异，从而进行模型的训练和优化。在TensorFlow中，logits、softmax和softmax_cross_entropy_with_logits是与这些任务相关的重要概念和函数。

实现步骤

1. 理解Logits

Logits是神经网络模型的未归一化输出，通常是线性层的输出。这些值没有经过任何归一化处理，因此它们的和不一定为1，也不代表概率。例如，在一个简单的神经网络中，通过y = W * x + b计算得到的结果就是logits。

2. 使用Softmax函数

Softmax函数是一种常用的归一化函数，它将logits转换为概率分布。Softmax函数的作用是将输入的logits“压缩”到[0, 1]的范围内，并且使得所有输出值的和为1。具体来说，对于输入的logits向量 $z$，Softmax函数的输出为：
$$\sigma (z{)}_j={\sum }_{k=1}^{}$$