【Python深度学习（第二版）（2）】深度学习之前：机器学习简史

可以这样说，当前工业界所使用的大部分机器学习算法不是深度学习算法。深度学习不一定总是解决问题的正确工具：有时没有足够的数据，深度学习不适用；有时用其他算法可以更好地解决问题。

如果第一次接触的机器学习就是深度学习，那么你可能会发现手中只有一把深度学习“锤子”，而所有机器学习问题看起来都像是“钉子”。为了避免陷入这个误区，唯一的方法就是熟悉其他机器学习方法并在适当的时候进行实践。

这里我们将简要回顾这些方法，并了解这些方法发展的历史背景。这样一来，我们便可以将深度学习放入机器学习的大背景中，更好地理解深度学习的起源和重要性。

 

一. 深度学习的起源

1. 概率建模–机器学习分类器

概率建模（probabilistic modeling）是统计学原理在数据分析中的应用。它是最早的机器学习形式之一，至今仍在广泛使用。在概率建模中，最著名的算法之一就是朴素贝叶斯算法。

朴素贝叶斯是一类机器学习分类器，基于对贝叶斯定理的应用。它假设输入数据的特征都是独立的（这是一个很强的假设，或者说是“朴素”的假设，其名称正来源于此）。贝叶斯定理和统计学基础可以追溯到18世纪，只要学会这两点，就可以开始使用朴素贝叶斯分类器了。

另一个密切相关的模型是logistic回归（logistic regression，简称logreg），它有时被认为是现代机器学习的“Hello World”。不要被它的名称所误导——logreg是一种分类算法，而不是回归算法。与朴素贝叶斯类似，logreg的出现也比计算机早很长时间，但由于它既简单又通用，因此至今仍然很有用。面对一项分类任务，数据科学家通常首先会在数据集上尝试使用这种算法，以便初步熟悉该分类任务。

 

2. 早期神经网络–反向传播算法的转折

虽然人们早在20世纪50年代就开始研究神经网络及其核心思想，但这一方法在数十年后才被人们所使用。在很长一段时间里，一直没有训练大型神经网络的有效方法。这种情况在20世纪80年代中期发生了变化，当时有多人独立地重新发现了反向传播算