人工智能——神经网络入门

目录

1 神经元

1.1 生物神经元

1.2 人工神经元

2 激活函数

2.1 激活函数的性质

2.2 常见激活函数 

---

1 神经元

1.1 生物神经元

单个神经细胞只有两种状态：兴奋和抑制 

1.2 人工神经元

2 激活函数

2.1 激活函数的性质

(1)连续并可导（允许少数点上不可导）的非线性函数。

     可导的激活函数可以直接利用数值优化的方法来学习网络参数。

(2)激活函数及其导函数要尽可能的简单

     有利于提高网络计算效率。  

(3)激活函数的导函数的值域要在一个合适的区间内

     不能太大也不能太小，否则会影响训练的效率和稳定性。

(4)单调递增

2.2 常见激活函数 

 

性质：

(1)饱和函数

(2)Tanh函数是零中心化的，而logistic函数的输出恒大于0