李宏毅机器学习——初识深度学习

深度学习简介

深度学习的历史

  • 1958: Perceptron (linear model)
  • 1969: Perceptron has limitation
  • 1980s: Multi-layer perceptron
    • Do not have significant difference from DNN today
  • 1986: Backpropagation
    • Usually more than 3 hidden layers is not helpful
  • 1989: 1 hidden layer is “good enough”, why deep?
  • 2006: RBM initialization (breakthrough)
  • 2009: GPU
  • 2011: Start to be popular in speech recognition
  • 2012: win ILSVRC image competition
    感知机(Perceptron)非常像我们的逻辑回归(Logistics Regression)只不过是没有sigmoid激活函数。09年的GPU的发展是很关键的,使用GPU矩阵运算节省了很多的时间。

深度学习的三个步骤

Step 1: 神经网络

  1. 完全连接前馈神经网络

概念:前馈(feedforward)也可以称为前向,从信号流向来理解就是输入信号进入网络后,信号流动是单向的,即信号从前一层流向后一层,一直到输出层,其中任意两层之间的连接并没有反馈(feedback),亦即信号没有从后一层又返回到前一层。

在传递时方向是从后往前,所以叫前馈

全连接和前馈的理解

  • 输入层(Input Layer):1层
  • 隐藏层(Hidden Layer):N层
  • 输出层(Output Layer):1层

矩阵计算

  • 输入
  • 输出

从结构上看每一层的计算都是一样的,也就是用计算机进行并行矩阵运算。
这样写成矩阵运算的好处是,你可以使用GPU加速。

本质:通过隐藏层进行特征转换

Step 2: 模型评估

最小化损失函数

Step 3: 选择最优函数

梯度下降

反向传播

你可能感兴趣的:(李宏毅机器学习——初识深度学习)