神经网络训练：激活函数与损失函数的选择，一篇干到底！

在神经网络的世界里，激活函数决定模型能不能“学会非线性”，损失函数决定模型往哪个方向学、学多少。
简单来说：

• 激活函数 = 大脑皮层（能不能思考）

• 损失函数 = 导师鞭子（该往哪里打）

搞不懂这俩，你的模型不是在原地转圈，就是跑偏方向还乐呵呵地说“我收敛啦”。

今天这篇文章，直接讲清楚这两个东西：

• 各种激活函数到底干嘛用，什么时候用谁？

• 损失函数选错了会多坑？

• 实战中怎么选，给你一个稳的默认组合

---

一、激活函数：神经网络能“想事情”靠它

1.1 为什么要激活函数？

没有激活函数，神经网络只是一个线性函数堆叠，再多层也学不出“弯的规律”。

我们需要非线性才能处理复杂问题，比如猫和狗的差异、语义理解、图像边缘等。激活函数就是那个“拐弯”工具。

---

1.2 常见激活函数盘点

✅ ReLU（Rectified Linear Unit）【首选】

text

复制编辑

f(x) = max(0, x)

• 大于 0 原样输出，小于等于 0 输出 0

• 计算快、不容易梯度消失

• 缺点：死神经元（一直为 0 就没用了）