作业地址：吴恩达《深度学习》作业线上版-知乎(zhihu.com)写的很好的笔记：吴恩达《深度学习》笔记汇总-知乎(zhihu.com)我的「吴恩达深度学习笔记」汇总帖（附18个代码实战项目）-知乎(zhihu.com

神经网络概述（NeuralNetworkOverview）从今天开始你将学习如何实现一个神经网络。这里只是一个概述，详细的在后面会讲解，看不懂也没关系，先有个概念，就是前向计算然后后向计算，理解了这个就可以了，有一些公式和表达在后面会详细的讲解。在我们深入学习具体技术之前，我希望快速的带你预览一下后续几天你将会学到的东西。现在我们开始快速浏览一下如何实现神经网络。之前我们讨论了逻辑回归，我们了解了

为什么要探索发展史(实例分析)？我们首先来看看一些卷积神经网络的实例分析，为什么要看这些实例分析呢？上周我们讲了基本构建，比如卷积层、池化层以及全连接层这些组件。事实上，过去几年计算机视觉研究中的大量研究都集中在如何把这些基本构件组合起来，形成有效的卷积神经网络。最直观的方式之一就是去看一些案例，就像很多人通过看别人的代码来学习编程一样，通过研究别人构建有效组件的案例是个不错的办法。实际上在计算机

超参数训练的实践：PandasVSCaviar（Hyperparameterstuninginpractice:Pandasvs.Caviar）到现在为止，你已经听了许多关于如何搜索最优超参数的内容，在结束我们关于超参数搜索的讨论之前，我想最后和你分享一些建议和技巧，关于如何组织你的超参数搜索过程。如今的深度学习已经应用到许多不同的领域，某个应用领域的超参数设定，有可能通用于另一领域，不同的应用领

迁移学习之最大分类器差异的无监督域适应吴恩达深度学习笔记(67)-迁移学习（Transferlearning)深度学习不

什么是神经网络？(WhatisaNeuralNetwork)我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢？在这个视频中，会讲解一些直观的基础知识。首先，让我们从一个房价预测的例子开始讲起。假设你有一个数据集，它包含了六栋房子的信息。所以，你知道房屋的面积是多少平方英尺或者平方米，并且知道房屋价格。这时，你想要拟合一个根据房屋面积预

从今天开始我们进入新的一个大方向了，改善深层神经网络：超参数调试、正则化以及优化，首先进入深度学习的一个新层面，先认识下在深度学习中的数据集的分类。之前可能大家已经了解了神经网络的组成的几个部分，那么我们将继续学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。训练，验证，测试集（Train/Dev/Testsets）在

如何识别矩阵的维数如下图矩阵的行列数容易在前向和后向传播过程中弄错，故写这篇文章来提醒易错点顺便起到日后查表改错的作用本文仅作本人查询参考(摘自吴恩达深度学习笔记)

梯度消失/梯度爆炸（Vanishing/Explodinggradients）训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是你训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。这节课，你将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。假设你正在训练这样一个极深的神经网络，为了

Adam优化算法(Adamoptimizationalgorithm)在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种神经网络，时间久了，深度学习圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度下降法很好用，很难再想出更好的优化算法。所以RMSprop以及Adam优化算法，就是

改善深层神经网络：超参数调试、正则化以及优化深度学习的实用层面一、训练、验证、测试集样本数据分成以下三个部分：训练集(trainset):用于对模型进行训练。验证集(hold-outcrossvalidation/developmentset):对不同模型进行评估。测试集(testset):对选取的模型进行无偏评估。node:验证集要和训练集最好来自于同一个分布，可以使得机器学习算法变快。如果不需

结构化机器学习项目机器学习策略（MLStrategy）1一、机器学习策略介绍（IntroductiontoMLStrategy）1、机器学习策略就是超参数调优的策略，怎么调？怎们评估调优的效果？调哪些超参的效果更好？超参数调优的次序？下图是一些经常调优的超参：2、正交化（Orthogonalization）正交化或正交性是一种系统设计属性，可确保修改算法的某一部分不会对系统的其他部分产生或传播副作

深度学习概论什么是神经网络上图的单神经元就完成了下图中函数的计算。下图的函数又被称为ReLU（修正线性单元）函数复杂的神经网络也是由这些简单的单神经元构成。实现后，要得到结果，只需要输入即可。x那一列是输入，y是输出，中间是隐藏单元，由神经网络自己定义用神经网络进行监督学习领域所用的神经网络房产预测等领域标准架构StandardedNN计算机视觉卷积神经网络CNN音频，文字翻译（一维序列问题）循环

为什么正则化有利于预防过拟合呢？（Whyregularizationreducesoverfitting?）为什么正则化有利于预防过拟合呢？为什么它可以减少方差问题？我们通过两个例子来直观体会一下。左图是高偏差，右图是高方差，中间是JustRight，这几张图我们在前面课程中看到过。现在我们来看下这个庞大的深度拟合神经网络。我知道这张图不够大，深度也不够，但你可以想象这是一个过拟合的神经网络。这是

一、Mini-batchgradientdescent(小批量梯度下降法)Mini-batch：把整个训练数据集分成若干个小的训练集，即为Mini-batch。为什么要分？梯度下降法必须处理整个训练数据集，才能进行下一次迭代。当训练数据集很大时，对整个训练集进行一次处理，处理速度较慢。但是如果每次迭代只使用一部分训练数据进行梯度下降法，处理速度就会变慢。而处理的这些一小部分训练子集即称为Mini-

1.Mini_batchgradientdescent小批量梯度下降法思想：batchgd是一次性处理所有数据，在数据集较大时比如500万个样本，一次迭代的时间会很长，而mini_batchgd是把数据集分为多个子数据集，每个eopch中对子集进行一次处理实现：实现mini_batch分为两步，第一步shuffle，将原集打乱，乱序步骤确保将样本被随机分成不同的小批次。第二步partition分割

吴恩达作业-搭建多层神经网络。神经网络的结构可以有很多层，结构是输入层>隐藏层>隐藏层>>>输出层，在每一层中，首先计算的是矩阵相乘[linear_forward]，然后再计算激活函数[linear_activation_forward],合并起来就是这一层的计算方式，所以每一层的计算都有两个步骤。可参照如下图：计算步骤表示图文末附全部代码链接计算伪代码如下：1.初始化网络参数2.前向传播（1）计

计算机视觉现状（Thestateofcomputervision）深度学习已经成功地应用于计算机视觉、自然语言处理、语音识别、在线广告、物流还有其他许多问题。在计算机视觉的现状下，深度学习应用于计算机视觉应用有一些独特之处。在这个笔记中，我将和你们分享一些我对深度学习在计算机视觉方面应用的认识，希望能帮助你们更好地理解计算机视觉作品（此处指计算机视觉或者数据竞赛中的模型）以及其中的想法，以及如何自

单一数字评估指标（Singlenumberevaluationmetric）无论你是调整超参数，或者是尝试不同的学习算法，或者在搭建机器学习系统时尝试不同手段，你会发现，如果你有一个单实数评估指标，你的进展会快得多，它可以快速告诉你，新尝试的手段比之前的手段好还是差。所以当团队开始进行机器学习项目时，我经常推荐他们为问题设置一个单实数评估指标。我们来看一个例子，你之前听过我说过，应用机器学习是一个

网络中的网络以及1×1卷积（NetworkinNetworkand1×1convolutions）在架构内容设计方面，其中一个比较有帮助的想法是使用1×1卷积。也许你会好奇，1×1的卷积能做什么呢？不就是乘以数字么？听上去挺好笑的，结果并非如此，我们来具体看看。过滤器为1×1，这里是数字2，输入一张6×6×1的图片，然后对它做卷积，起过滤器大小为1×1×1，结果相当于把这个图片乘以数字2，所以前三

如果你对卷积维度的计算不清楚，可以参考我之前的博客吴恩达深度学习笔记（deeplearning.ai）之卷积神经网络（CNN）（上）。

计算图（ComputationGraph）可以说，一个神经网络的计算，都是按照前向或反向传播过程组织的。首先我们计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作。后者我们用来计算出对应的梯度或导数。计算图解释了为什么我们用这种方式组织这些计算过程。在这篇笔记中中，我们将举一个例子说明计算图是什么。让我们举一个比逻辑回归更加简单的，或者说不那么正式的神经网络的例子。我们尝试计算函数J

随机初始化（Random+Initialization）当你训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为0当然也是可以的。但是对于一个神经网络，如果你把权重或者参数都初始化为0，那么梯度下降将不会起作用。让我们看看这是为什么？有两个输入特征，n^([0])=2，2个隐藏层单元n^([1])就等于2。因此与一个隐藏层相关的矩阵，或者说W^([1])是2*2的矩阵，假设把它初

目录改善深层神经网络：超参数调试、正则化以及优化训练，验证，测试集（Train/Dev/Testsets）偏差和方差权衡方差和偏差的问题正则化为什么只正则化参数？为什么不再加上参数呢？为什么正则化有利于预防过拟合呢？为什么压缩2范数，或者弗罗贝尼乌斯范数或者参数可以减少过拟合？dropout正则化。其他正则化方法归一化输入1.零均值2.归一化方差。为什么使用归一化处理输入？梯度消失/梯度爆炸神经网

神经网络的监督学习(SupervisedLearningwithNeuralNetworks)（请注意文中粗体部分内容，划重点吶！）关于神经网络也有很多的种类，考虑到它们的使用效果，有些使用起来恰到好处，但事实表明，到目前几乎所有由神经网络创造的经济价值，本质上都离不开一种叫做监督学习的机器学习类别，让我们举例看看。在监督学习中你有一些输入x，你想学习到一个函数来映射到一些输出y，比如我们之前提到

m个样本的梯度下降(GradientDescentonmExamples)在之前的笔记中,已经讲述了如何计算导数，以及应用梯度下降在逻辑回归的一个训练样本上。现在我们想要把它应用在m个训练样本上。首先，让我们时刻记住有关于损失函数就J(w,b)的定义。当你的算法输出关于样本y的a(i)，a(i)是训练样本的预测值，即：所以我们在前面展示的是对于任意单个训练样本，如何计算微分当你只有一个训练样本。因

深度学习框架(DeepLearningframeworks)如果你已经差不多从零开始学习了使用Python和NumPy实现深度学习算法，很高兴你这样做了。但你会发现，除非应用更复杂的模型，例如卷积神经网络，或者循环神经网络，或者当你开始应用很大的模型，否则它就越来越不实用了，至少对大多数人而言，从零开始全部靠自己实现并不现实。幸运的是，现在有很多好的深度学习软件框架，可以帮助你实现这些模型。类比一

恩达老师的这一周的浅层神经网络总结，还是简单的架构说明，但是还是要仔细读哦！架构分为四部分：神经网络表示计算神经网络输出激活函数神经网络的梯度下降第一和第二部分：神经网络表示和计算神经网络输出部分，由于本部分讲的是浅层的网络输出，所以就是只有一个隐藏层的神经网络，你也可以理解成一个两层的神经网络，因为输入层并不能算为一层神经网络结构。另外就是神经网络的输出部分了，首先你要理解单个神经元的内部是如何

吴恩达深度学习课程，是公认的最优秀的深度学习课程之一，目前没有教材，只有视频，本文提供完整笔记下载，这本笔记非常适合和深度学习入门。0.导语黄海广博士和同学将吴恩达老师深度学习视频课程做了完整的笔记，笔记pdf放在github上，下载后可以打印。笔记基于课程视频和字幕制作。感谢吴恩达老师为广大爱好者提供如此实用的教程！目前仅在Github渠道，累计下载超过了100万次！本次更新：很多同学说看不懂公

机器学习策略一、进行误差分析二、清除标注错误的数据三、快速搭建你的第一个系统，并进行迭代四、在不同的划分上进行训练并测试五、不匹配数据划分的偏差和方差六、解决数据不匹配七、迁移学习八、多任务学习九、什么是端到端的深度学习十、是否使用端到端的深度学习一、进行误差分析当我们的模型还没有达到人类水平，可以人工检查一下你的算法犯的错误，也许能让我们知道下一步能做什么，这个过程就叫做误差分析。例如在猫分类器

深度学习笔记第一课深度学习介绍1、什么是神经网络？2、用神经网络进行监督学习3、深度学习为什么会兴起？第二课神经网络基础知识1、二分分类2、LogisticRegression3、LogisticRegression损失函数4、LogisticRegression梯度下降5、向量化LogisticRegression6、向量化LogisticRegression的梯度输出7、Python中的广播8

深层神经网络1.逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边：神经网络的层数是这么定义的：从左到右，由0开始定义，比如上边右图，x1、x2、x3、严格上来说逻辑回归也是一个一层的神经网络，而上边右图一个深得多的模型，浅与深仅仅是指一种程度。有一个隐藏层的神经网络，就是一个两层神经网络。记住当我们算神经网络的层数时，我们不算输入层，我们只算隐藏层和输出层。上图是一个四层的神经网络，有

深层神经网络（DNN）:一、深层神经网络4层的神经网络：二、前向与反向传播前向(forwardpropagation):反向(backwardpropagation):notation:n[l]：第l层的unit个数W[l]：(n[l],n[l−1])b[l]：(n[l],1)dW[l]：(n[l],n[l−1])db[l]：(n[l],1)singleexample:x：(n[0],1)z[l]

吴恩达深度学习笔记week4——深层神经网络DeepL-layerNeuralNetwork4.1深层神经网络DeepL-layerNeuralNetwork4.2深层网络中的前向传播ForwardPropagationinaDeepNetwork4.3

1.Carryingouterroranalysis例:当我们在训练一个模型的时候,我们的准确率是90%,bayesoptimizedbias是0%,这个时候错误率达到了10%,那么我们如何分析是哪错了,并且快速改正,如果我们分析发现误将狗识别为猫,那我们是否又应该加入一些狗的图片,增强模型对负样本的训练?这个时候就引入了误差分析分析过程:这里吴恩达老师是取出100张被错误标记的图片,观察其中把狗

进行误差分析以一个简单的例子为例，在做一个猫图片的分类器时，若产生了5%5%的误差，其中有些图片误把狗分类为猫，是不是应该马上决定设计一个针对狗的识别系统？答案是否定的，若错误分类里面只有少数的是狗则不需要，所以有必要对误差进行分析。常用的误差分析是用一个表格做统计，如下图所示，统计每项可能引起系统误差的比例。清楚标记错误的数据吴恩达：人工干预，对误差进行分析，加入人对数据的理解在构建实际机器学习

第1个问题Tohelpyoupracticestrategiesformachinelearning,inthisweekwe’llpresentanotherscenarioandaskhowyouwouldact.Wethinkthis“simulator”ofworkinginamachinelearningprojectwillgiveataskofwhatleadingamachinel

机器学习策略（MLStrategy）2一、误差分析（ErrorAnalysis）1、进行误差分析（Carryingouterroranalysis）当训练完模型后，可以得到该模型的误差。接着我们要不断的对模型进行优化，减少误差。误差分析就是为了指导模型往能最大化减少误差的方向调整。误差分析就是对由不同错误分类类型引起的错误占总错误的比例进行排序，优先优化占比高的错误类型。以识别猫为例，预测失败可能

一、调试处理给超参数取值：网格中取样点，随机取值，由粗糙到精细的策略。为超参数选择合适的范围：随机取值不是在有效范围内随即均匀取值，选择合适的步进值很重要。比如搜索学习率α，在0.0001到1之间，如果随机均匀取值，则在0.1到1之间应用了90%的资源，在0.0001到0.1之间只有10%的搜索资源。因此，不使用线性轴，而使用对数轴会更加合理。β越接近于1越敏感，需要密集取值。超参数调试实践：照看

在吴恩达老师的深度学习中的assignment_2_2中实现logisticRegression需要将图片转化成训练集时需要将维度为（209，64，64，3）的图片矩阵转化成二维矩阵（64*64*3，209）的训练集时错误方法：直接使用reshape(64*64*3,209)正确方法：使用reshape(209,-1).T原因：错误方法不能变成我们需要的n*m的矩阵，我们需要保持每列是一个单独的样

为了方便学习深度学习课程，转载一个吴恩达老师的一个深度学习笔记，转载的网站是下面这个https://blog.csdn.net/red_stone1/article/details/80207815从去年8月份开始，AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程，掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网：deeplearning.ai

吴恩达深度学习笔记week3——浅层神经网络OnehiddenlayerNeuralNetwork3.1神经网络概览NeuralNetworksOverview!

语音识别(Speechrecognition)现今，最令人振奋的发展之一，就是seq2seq模型(sequence-to-sequencemodels)在语音识别方面准确性有了很大的提升。这门课程已经接近尾声，现在我想通过剩下笔记，来告诉你们，seq2seq模型是如何应用于音频数据的(audiodata)，比如语音(thespeech)。什么是语音视频问题呢？现在你有一个音频片段x(anaudio

文章目录自然语言处理与词嵌入词汇表征（WordRepresentation）Visualizingwordembeddings——t-SNE算法PropertiesofWordEmbeddings——CosinesimilarityEmbeddingmatrix学习词嵌入（LearningWordEmbeddings）Word2VecSkip-Gram模型负采样（NegativeSampling）

学习资源汇总机器学习双目视觉模型部署工具安装和使用MTMCT工作学习感悟篇机器学习吴恩达深度学习笔记最全最详细！这一篇足够了！

1.TuningProcess对超参数的一个调试处理一般而言,在调试超参数的过程中,我们通常将学习率learning_rate看作是最重要的一个超参数,其次是动量梯度下降因子β(一般为0.9),隐藏层单元个数,mini-batchsize,再然后是layers,learningratedecacy.当然,这并不是绝对的.在adam算法中,β1,β2,ε通常取值为0.9,0.999,10-8调试超参

超参数调试、Batch正则化和程序框架一、超参数调试（hyperparametertuning）推荐的超参数重要性排序：1、学习率(learningrate):α2、隐藏神经单元(hiddenunits);mini-batch的大小(mini-batchsize);β(momentum)3、神经网络层数(layers);学习率衰减率(learningratedecay)4、Adam优化算法的其它超

regression:回归supervised:有监督的logistic回归是一种学习算法被用于有监督学习问题,当y全都是0或1时例子:判断是否有猫给定一个由特征向量x代表的图像,那个算法将会估计猫是否在那个图像里的可能性logistic回归的参数如下:转载于:https://www.cnblogs.com/Dar-/p/9310066.html

自然语言和音频都是前后相互关联的数据，对于这些序列数据需要使用循环神经网络（RecurrentNeuralNetwork，RNN）来进行处理。使用RNN实现的应用包括下图中所示：一、数学符号对于一个序列数据x，用符号x⟨t⟩x^{⟨t⟩}x⟨t⟩来表示这个数据中的第t个元素，用y⟨t⟩y^{⟨t⟩}y⟨t⟩来表示第t个标签，用TxT_xTx和TyT_yTy来表示输入和输出的长度。对于一段音频，元素

下载地址：https://wwe.lanzous.com/i2tcOdy2qmh如果您还需要吴恩达深度学习笔记，请点击：吴恩达Deeplearning深度学习笔记v5.7最新PDF版免积分