吴恩达深度学习-第一课-第一周笔记

第一课第一周 深度学习概论

神经网络（Neural Network）

神将网络的构筑理念是受到生物神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法得以优化，所以人工神经网络也是数学统计学方法的一种实际应用。和其他机器学习方法一样，神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别。这些问题都是很难被传统基于规则的编程所解决的。

 机器学习领域所说的神经网络指的是一种模仿生物神经网络的结构和功能而建立的数学或计算模型，用于对函数进行估计或近似。

例如，给定一些关于市面上房子的面积及价格的数据，要你根据这些数据建立一个房价预测模型，即输入一个房子的面积，希望通过这个模型输出一个房价的预测值。显然，这是一个线性回归问题，因为一般情况下房价和房子的面积都成正相关。这时，我们可以将已知数据的关系表现在平面坐标系中：

对数据进行线性拟合，且房价永远不会是负数，得到图中的ReLU函数（Rectified Linear Unit，修正线性单元）。

在这个简单的例子中，房子的面积作为输入，房价作为输出，而ReLU函数便充当一个神经元的作用，来产生输出。

然而房价除了受房子的面积影响之外，还会受卧室的数量、房子的位置以及地区的财富水平等因素的影响，这时就需要构建一个更为复杂的神经网络模型。

这就构成了一个神经网络模型基本结构，神经网络会自动生成隐藏层（Hidden Units）来处理输入，生成输出。这个问题中，只要拥有足够的训练数据，就能生成一个较好的神经网络模型，得到较为精确的结果。简单而言，深度学习便是更为复杂的神经网络。

用神经网络进行监督学习

目前为止,几乎所有由神经网络创造的经济价值,都基于其中一种机器学习"监督学习" ------输入x,习得一个函数,映射到输出y；现在,通过深度学习获益最大的是在线广告.

应用神经网络时，要机智的选择x和y，才能解决特定问题，然后把这个监督学习过的组件嵌入到更大型的系统中去，比如无人驾驶。

稍微不同的神经网络应用到不同的地方，也都行之有效；房地产价格预测用的线性回归；图像领域用的卷积神经网络CNN；对于序列数据，如音频这种时间序列模型，要用循环神经网络RNN；语言也是序列数据，用的是更复杂的RNNs；

机器学习被用于结构化数据和非结构化数据： 结构化数据是数据的数据库（structured data means basically databases of data）； 非结构化数据是图像、音频等； 计算机能够很好的识别非结构化数据。

希望应用的算法能同时学习结构化数据和非结构化数据。

神经网络和深度学习现在火的原因

规模一直在推动深度学习的进步：不仅是神经网络的规模、还有数据的规模、计算集群的规模。

训练集不大的时候，各算法的性能排名不是很确定，最终的性能，取决与手工设计组件的技能，以及算法处理方面的一些细节；只有在大数据领域，非常庞大的训练集，我们才能看到神经网络稳定地领先其他算法。

深度学习初期发展是因为数据与运算能力，但现在算法创新也很重要。

很多算法上的创新都是为了让神经网络运行地更快，增加计算速度。如将sigmoid函数转换到Relu函数。这使得我们可以训练更大地神经网路，或者在合理地时间完成计算。另一方面是在实现神经网络时，迭代速度对效率影响很大，运行速度快，有利于敏捷开发。

代码编程实现算法:第三周写单隐层神经网络，第四周写多层神经网络。

课后测验：

1.“AI是新的电力”，这是吴恩达老师在今年AI Conference上主题演讲的题目。这句话当然是比喻AI就像100年前的电力一样，正在给我们的生产生活带来巨大的变革。吴恩达老师在演讲中说，“在未来的某一天，建立一个由AI驱动的社会，我们周围的一切都具有AI智能，并改变人类的生活。”这个梦想的实现，不仅仅是依靠一个公司的努力，而是需要我们所有人一起努力。答案A。

2.这题问我们，最近深度学习这么火的原因都有哪些？话说，深度学习并不是一个新的领域，它只是众多机器学习算法中的一种，为什么在经历了起起落落后，最近能火起来呢？因为深度学习算法需要大量的数据和很强的硬件计算能力。之前受限于数据量和计算能力，一直不温不火。近几年互联网蓬勃发展，各种信息都实现了数据化，数据量大增，你想想你网购时留在互联网上的信息你就知道了。另外，计算机硬件按照“摩尔定律”发展，计算能力指数增长，这些都为深度学习算法的再次勃发提供了很好的基础。当然，也离不开利用深度学习算法实现的表现优异的各种产品，比如阿尔法狗，图像识别机器人，索菲亚机器人等。答案ABD。

3.这个图向我们展示了开发神经网络的一个过程，即从有想法，到用代码实现，再到运行代码看结果，再回过头修正想法如此循环往复。一个团队如果能更快的用代码实现想法，或者写出来的代码（算法）更好，或者科学家研究出了更优秀的算法，上述循环过程都会更短，从而提高效率。考虑到以上的原因，训练一个大的数据集，花的时间未必比训练小数据集花的时间长，当然也不是在大数据集上训练就更快。答案ABD。

4.这题考查我们对操作经验和模型的理解。一个表现很好的深度学习模型，并不是仅靠经验就能立马找到的。虽然经验很重要，但要找到一个表现很好的模型，都需要尝试，修复，不断完善的一个过程。答案False

5.这是第五题，问我们哪个图是ReLU函数，答案是上图。常用的激活函数还有：sigmoid函数，tanh函数和leaky ReLU函数。

6.此题考查我们对结构化数据和非结构化数据的理解。猫图像识别的数据是典型的非结构化数据，常见的非结构化数据还有文本，图像，视频等。答案False

7.此题考查我们对结构化数据和非结构化数据的理解。人口、GDP增速、经济增长率等数字都是结构化数据。答案False

8.此题考查我们对RNN（循环神经网络）的了解。RNN在语音识别，语言建模，翻译，图片描述等问题上已经取得一定成功。它是一种监督学习，比如输入数据英文，标签为法文。RNN 可以被看做是同一神经网络的多次赋值，每个神经网络模块会把消息传递给下一个，所以它是链式的，链式的特征揭示了 RNN 本质上是与序列和列表相关的，所以它在解决sequence上是毫无问题的。要说哪个完全比另一个强，基本都是错的。答案AC

9.这张图从侧面反映了深度学习为什么会火。它的横坐标是数据量，纵坐标是该算法的表现。从图中可以看出，随着横坐标--数据量的增大，无论是小型，中型还是大型的神经网络，表现均越来越好，而传统的算法则一直停留在一个水平。答案B

10.此题还是考查对上图的理解。总的来说，对于相同的数据量，只要足够多了，那么大型神经网络的表现更好。对同一个神经网络，数据量越多，其表现越好。答案BD