【深度学习】 读书笔记 壹 深度学习概述

深度学习的前世今生。

前言

概念

AI深度学习：层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，我们将得到一张“深”（层次很多）的图。出于这个原因，我们称这种方法为AI深度学习。

知识图谱(knowledge base)方法: 计算机可以通过这些形式化语言自动地使用逻辑推理规则来理解声明。

机器学习(machine learning): Al系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力，这种能力称为机器学习。例如：逻辑回归(logistic regression)和朴素贝叶斯(naive Bayes)。

表示学习(representation learning): 使用机器学习来发现数据的表示(representation)本身。例如： 自动编码器(autoencoder)：输入–>编码器(encoder)–>表示–>解码器(decoder)。

深度学习(deep learning): 让计算机通过简单概念构建复杂的概念。例子： 前馈深度网络或多层感知机(multilayer perceptron, MLP)。深度学习是AI的途径之一，可以用来学习数据的正确表达和一个多步骤的计算机程序。

深度学习的历史趋势

• 1.数据量越来越大。
• 2.针对深度学习的计算机软硬件设施有所改善，深度学习模型的规模也随之增长。
• 3.深度学习已经解决日益复杂的应用，并且精度不断提高。

深度学习的三次浪潮

• 1.第一次浪潮开始于20世纪40年代到20世纪60年代的控制论，随着生物学习理论的发展和第一个模型的实现（感知机）,能实现单个神经元的训练。
• 2.第二次浪潮开始于1980-1995年间的链接机制方法，可以使用反向链接训练具有一两个隐藏层的神经网络。
• 3.第三次浪潮，深度学习，大约始于2006年。

参考

Deep Learning Book