动手学深度学习V2.0(Pytorch)——10.感知机(激活函数)

文章目录

  • 1. 感知机
  • 2. 多层感知机
    • 2.1 异或问题
    • 2.2 单隐藏层
    • 2.3 激活函数
      • 2.3.1 logistics函数/sigmoid激活函数
      • 2.3.2 tanh函数
      • 2.3.3 sigmoid函数和tanh函数的异同/优缺点
      • 2.3.4 relu
    • 2.4 多类分类
    • 2.5 多隐藏层
  • 3 Q&A
    • 3.1 神经网络中一层的定义是什么
    • 3.2 感知机无法解决XOR问题,多层感知机虽然可以解决,但是还是被SVM替代是为什么?
    • 3.3 不同任务的激活函数不一样吗?还是要通过实验确认
    • 3.4 模型的深度宽度该怎么选
    • 3.5 可以有动态神经网络吗?参数不是固定的?
  • 4. 扩展
    • 4.1 多层感知机和与门、或门、异或门
    • 4.2 激活函数
    • 4.3 题外话(吐槽)
    • 4.4 sigmoid和logistics
    • 4.5 激活函数要求输出zero-centered的原因

1. 感知机

视频地址:

本部分内容大部分来自perceptron的Wikipedia:https://en.wikipedia.org/wiki/Perceptron

但是最重要的地方是:整理和讲解清楚!!! 感谢李沐老师!

早年的感知机,Wikipedia上的图,一个权重就是用一根电线。。。。所以是个占地体积非常庞大的模型。
动手学深度学习V2.0(Pytorch)——10.感知机(激活函数)_第1张图片
感知机是人工智能最早的模型

  • 对于给定输入

你可能感兴趣的:(动手学深度学习pytorch,pytorch,深度学习,机器学习)