自编码器是一个无监督的应用，它使用反向传播来更新参数，它最终的目标是让输出等于输入。数学上的表达为，f(x)=x，f为自编码器，x为输入数据。自编码器会先将输入数据压缩到一个较低维度的特征，然后利用这个较低维度的特征重现输入的数据，重现后的数据就是自编码器的输出。所以，从本质上来说，自编码器就是一个压缩算法。自编码器由3个部分组成：编码器（Encoder）：用于数据压缩。压缩特征向量（Compre

8.1循环神经网络RNN之前学到的CNN和全连接，模型的输入数据之间是没有关联的，比如图像分类，每次输入的图片与图片之间就没有任何关系，上一张图片的内容不会影响到下一张图片的结果。但在自然语言处理领域，这就成了一个短板。RNN因此出现，它是一类用于处理序列数据的神经网络。其基本单元结构如下自底向上的三个蓝色的节点分别是输入层、隐藏层和输出层。U和V分别是连接两个层的权重矩阵。如果不考虑右边的棕色环

接着上一节，本节讲解模型自我学习的数学计算过程究竟是怎么样的。5.1前馈网络一个最简单的前馈神经网络如图所示，对于每一个隐藏层，输入对应前一层每一个节点权重乘以节点输出值，输出则是经过激活函数（例如sigmoid函数）计算后的值。在这样的网络中，输入的数据x经过网络的各个节点之后，即可计算出最终的模型结果。这样就完成了一个最基本的前馈网络从输入到输出的计算过程。5.2反向传播在实际工作中这部分的内

深度学习入门笔记（1）——什么是深度学习？

对比第三节中的Adaline和LogisticRegression，可以发现它们只有两点不同：1、激活函数，Adaline中的激活函数是恒等函数（线性），而LogisticRegression中的激活函数是Sigmoid函数（非线性）；2、损失函数，Adaline中的损失函数是均方误差，而LogisticRegression中的损失函数则是交叉熵。Sigmoid函数如图所示，其值域为0到1，输入为

本节我们介绍一些深度学习领域常用的术语。训练确定模型中的参数的过程，我们就称为“训练”。Epoch遍历一遍训练数据就叫作“一个Epoch”。训练模型的时候，我们要告诉模型预计训练多少个Epoch，但这个值并不是固定的，因为并没有一个准确的Epoch数能一定能得到一个比较好的模型。我们有一个标准：模型训练的Epoch数必须要让模型达到一个收敛的状态。并且为了模型有更多的选择，我们可以让模型收敛后，再

多层感知器在之前的课程中，我们了解到，感知器（指单层感知器）具有一定的局限——无法解决异或问题，即线性不可分的问题。将多个单层感知器进行组合，就可以得到一个多层感知器（MLP——Multi-LayerPerceptron）结构。多层感知器包含输入层，一个或多个隐藏层以及一个输出层。每层的神经元与下一层进行完全连接。如果网络中包含一个以上的隐层，则称其为深度人工神经网络。说明：通常我们说的神经网络的

深度学习入门笔记：第二章感知机笔记来源书籍：《深度学习入门：基于+Python+的理论与实现》文章目录深度学习入门笔记：第二章感知机前言为什么学习感知机2.1感知机是什么2.2简单逻辑电路2.2.1与门

声明：本文内容源自《白话深度学习与tensorflow》高扬卫峥编著一书读书笔记！！！神经网络：神经网络又称为人工神经网络（artificialneutralnetwork,ANN）。神经网络是一种人类由于受到生物神经细胞结构启发而研究出的一种算法体系神经元：如上图所示是一个最简单的神经元，有一个输入，一个输出。我们现在所使用的神经元通常有两个部分组成，一个是“线性模型”，另一个是“激励函数”。假

神经网络的基本单元是神经元，本节我们介绍神经元的结构。2.1神经元一个神经元是由下面5部分组成的：输入：x1,x2,…,xk。权重：w1,w2,…,wk。权重的个数与神经元输入的个数相同。偏移项：可省略。激活函数：一般都会有，根据实际问题也是可以省略的。输出。2.2激活函数激活函数有很多种，不同的激活函数适用于不同的问题。二分类问题我们一般采用Sigmoid函数，多分类问题我们采用Softmax函

我们先来总结一下人类识别物体的方法：定位。这一步对于人眼来说是一个很自然的过程，因为当你去识别图标的时候，你就已经把你的目光放在了图标上。虽然这个行为不是很难，但是很重要。看线条。有没有文字，形状是方的圆的，还是长的短的等等。看细节。纹理、颜色、方向等。卷积神经网络就是对上述过程的程序实现。7.1卷积卷积在卷积神经网络中的主要作用是提取图片的特征，同时保留原来图片中各个像素的相对位置（空间）关系。

前面几节介绍了很多理论，难免会好奇：理论如何与实战结合呢？本节我们就穿插一点实战经验，来换换脑子~1.显卡warmup进行深度学习训练和推理时，往往第一次运行的耗时比较高，这是因为显卡需要warm-up，就是“热身”，才能发挥出显卡的性能。关于热身，个人理解，显卡开始工作时控制单元需要对资源进行调度，例如分配warp等。这些应该都是在第一次推理的时候进行。类似的，举个栗子，在F1比赛中，每场赛车的

本节，我们用线性回归为例子，回顾一些基本概念6.1相关性相关性的取值范围是-1到1，越接近1或者-1代表越相关，越接近0则越不相关。相关系数大于0称为正相关，小于0称为负相关。假如A与B正相关，则是说A（B）会随着B（A）的增大而增大，减小而减小。假如A与B负相关，则是说A（B）会随着B（A）的增大而减小，减小而增大。皮尔逊系数就是常用的相关性方法。6.2什么是线性回归顾名思义，就是用一种线性关系

深度学习有三大部分模型表征（包括模型设计、网络表示等）模型评估（上一篇文章提到的准确召回和损失函数等）优化算法（模型如何学习或更新）本节我们就来介绍模型是如何学习或更新的。4.1损失函数模型的学习，实际上就是对参数的学习。参数学习的过程需要一系列的约束，这个约束就是损失函数。以函数曲线拟合为例，对于每一个样本点，真实值和拟合值之间就存在了一个误差，我们可以通过一个公式来表示这个误差：L(x)=(F

首先介绍一个非常著名的多分类数据集MNIST，也就是0到9的手写数字数据集。每个图像都是28*28，用于Pytorch数据读取的格式是NCHW，即Number、Channel、Height、Weight。读取图像之后，就能看到一个只有单通道的（灰度）图像，实际上就是一行行像素值的组合，用于SoftmaxRegression时输入得是一个向量，所以要将一行行的像素进行拼接，成为一个长的向量。同时，将

计算机视觉深度学习入门笔记-从理论到实战案例第一章深度学习概论1.1神经网络基础1.1.1为什么是神经网络？1.1.2为什么神经网络有效？

深度学习入门笔记：第一章python入门笔记来源书籍：《深度学习入门：基于+Python+的理论与实现》文章目录深度学习入门笔记：第一章python入门前言第一章python入门1.1深度学习为什么使用

写在前面学习建议：以下学习过程中有不理解可以简单查找下资料，但不必纠结（比如非得深究某一个函数等），尽量快速的学一遍，不求甚解无妨。多实操代码，不能只复制代码，或者感觉懂了就只看。熟能生巧，我亦无他，唯手熟尔今天介绍一些基础函数及其用法，基本全是代码，一些解释都放在代码的注释里了。直接看代码吧，记得在你本地跑一下看哦代码1#tensor.get_shape()获取tensor的shape，就是维度

如愚见指月，观指不观月。目录上节回顾——logistic回归模型和成本函数梯度下降梯度下降法的执行过程计算图logistic模型中的梯度下降算法上节回顾——logistic回归模型和成本函数是在条件下，的概率。。如果想要让我们的模型更加精确的话，就要让尽可能的接近。所以，我们定义了损失函数和成本函数，用于评估与的接近程度，以及模型的准确率。损失函数是对单个样本来说的。成本函数是对整个数据集来说的。

@[Toc]OS：ubuntu20.04（虚拟机）一、工具安装1.1Anaconda安装首先安装Anaconda,我是去清华大学镜像站下载，版本为Anaconda3-5.2.0-Linux-x86_64.sh参考这篇CSDN博客安装好。安装成功测试：在这里插入图片描述首先创建一个虚拟环境：condacreate-npytorchpython=3.6在这里插入图片描述输入sourceactivate

本节目标理解梯度下降的原理，主要围绕以下几个问题展开：梯度下降法的用途？什么是梯度？为什么是负的梯度为什么局部下降最快的方向就是梯度的负方向。需要的知识储备：一级泰勒展开公式向量内积计算公式1.梯度下降算法无论是在线性回归（LinearRegression）、逻辑回归（LogisticRegression）还是神经网络（NeuralNetwork）等等，都会用到梯度下降算法。梯度下降算法主要用于辅

该节内容主要摘自李沐大神的动手学AI。sec_linear_scratch在了解线性回归的关键思想之后，我们可以开始通过代码来动手实现线性回归了。在这一节中，(我们将从零开始实现整个方法，包括数据流水线、模型、损失函数和小批量随机梯度下降优化器)。虽然现代的深度学习框架几乎可以自动化地进行所有这些工作，但从零开始实现可以确保我们真正知道自己在做什么。同时，了解更细致的工作原理将方便我们自定义模型、

写在前面学习建议：以下学习过程中有不理解可以简单查找下资料，但不必纠结（比如非得深究某一个函数等），尽量快速的学一遍，不求甚解无妨。多实操代码，不能只复制代码，或者感觉懂了就只看。熟能生巧，我亦无他，唯手熟尔今天突然有个想法，准备把部分英文也贴上。因后期是不可避免的要接触英文(论文之类)，现在就少量穿插在文章中，大家试着读下看。常量Constants与变量Variable前面已经使用过consta

课程学习笔记，课程链接学习笔记同步发布在我的个人网站上，欢迎来访查看。文章目录一、TensorBoard1.1SummaryWriter1.2add_image()首先安装TensorBoard:pipinstalltensorboard一、TensorBoard1.1SummaryWriterfromtorch.utils.tensorboardimportSummaryWriter从函数介绍可

写在前面学习建议：以下学习过程中有不理解可以简单查找下资料，但不必纠结（比如非得深究某一个函数等），尽量快速的学一遍，不求甚解无妨。多实操代码，不能只复制代码，或者感觉懂了就只看。熟能生巧，我亦无他，唯手熟尔今天介绍一些基础函数及其用法，基本全是代码，一些解释都放在代码的注释里了。直接看代码吧，记得在你本地跑一下看哦代码1#tensor.get_shape()获取tensor的shape，就是维度

前言博客内容均是对《深度学习入门—基于Python的理论与实现》一书2-6章的总结。以前也或多或少接触过一些相关知识，但都不成体系，故于此总结,大佬轻喷。文章目录前言感知机神经网络激活函数损失函数神经网络学习中的技巧参数更新方法权重的初始化抑制过拟合的方法超参数的选择感知机信号特征：感知机有多输入，而仅一输出。以两输入一输出为例，其数学模型如下：y={0(ω1x1+ω2x2)+b⩽01(ω1x1+

我是雪天鱼，一名FPGA爱好者，研究方向是FPGA架构探索和数字IC设计。关注公众号【集成电路设计教程】，获取更多学习资料，并拉你进“IC设计交流群”。QQIC设计&FPGA&DL交流群群号：866169462。课程学习笔记，课程链接文章目录一、MaxPool2d简介二、代码演示一、MaxPool2d简介这一节讲解池化层。还是通过Pytorch官方文档来进行学习：打开torch.nn的poolin

课程学习笔记，课程链接学习笔记同步发布在我的个人网站上，欢迎来访查看。Pytorch的nn模块有ConvolutionLayers,有3种卷积操作，nn.Conv1d、nn.Conv2d、nn.Conv3d分别对应一维二维以及三维：注：在Pytorch官网文档左侧，有torch.nn和torch.nn.fuctional，torch.nn是对torch.nn.fuctional进行了一个封装，方便

基于tensorflow的回归代码实现本系列将分为8篇。今天是第四篇。总是理论有些枯燥，今天来动手基于TF框架实现两个简单的案例，以小搏大熟悉一下整个过程。整体来说，训练神经网络分为3个步骤：定义神经网络的结构和前向传播的输出结果定义损失函数以及选择反向传播优化的算法生成会话（tf.Session)并在训练数据上反复运行反向传播优化算法现以直线拟合和回归拟合两个简单案例来熟悉以上3个步骤。1.直线

课程学习笔记，课程链接学习笔记同步发布在我的个人网站上，欢迎来访查看。文章目录一、torchvision二、CIFAR数据集2.1下载数据集2.2数据集的使用2.3transforms的使用2.3其他数据集的使用目的：如何把数据集和Transforms结合在一起介绍科研中使用的一些标准数据集和下载、查看、使用方法一、torchvisionpytorch官网：https://pytorch.org/

课程学习笔记，课程链接学习笔记同步发布在我的个人网站上，欢迎来访查看。文章目录一、非线性激活常用函数介绍1.1ReLU1.2Sigmoid一、非线性激活常用函数介绍非线性激活的目的是为了给我们的神经网络引入一些非线性的特质。依然是打开官方文档：比较常用的函数是nn.ReLu:1.1ReLU对应的函数图是：参数：inplace=True时，会修改input为非线性激活后的结果；inplace=Fal

目录一、深度学习入门课程的学习重点二、简单介绍一下深度学习和神经网络1.深度学习2.神经网络3.深度学习储备知识拓展三、深度学习生产生活实际案例四、深度学习的框架介绍总结深度学习是机器学习中的一种方法，它利用多层神经网络来学习数据的特征表示。近年来，深度学习在许多领域取得了巨大的成功，包括计算机视觉、语音识别、自然语言处理等。深度学习使用多层神经网络来解决各种问题。神经网络由输入层、隐藏层和输出层

前言之前有过断断续续地学习深度学习的经历对深度学习有一定的了解包括激活函数，损失函数，卷积，池化这种基本概念对CNN，RNN，ResNet都有一定的了解去年参加的项目里还和队友一起做了个基于CNN的智能搜索引擎（没记错的话还花里胡哨地用了点jieba分词）不过当时才刚刚大二，知识体系漏洞很大，项目全靠带现在再翻翻当时的源码都得费好大劲才能回想起来在写什么。。。而想想自己到底学了点什么深度学习，又很

目录设计理念DenseNet优势DenseNet的网络基本结构图DenseBlock模块参考资料论文：DenselyConnectedConvolutionalNetworks论文链接：https://arxiv.org/pdf/1608.06993.pdf代码的github链接：https://github.com/liuzhuang13/DenseNetMXNet版本代码（有ImageNet预

VGGNet是由牛津大学的视觉几何组（VisualGeometryGroup）和谷歌旗下DeepMind团队的研究员共同研发提出的，获得了ILSVRC2014（2014年ImageNet图像分类竞赛）的第二名，将Top-5错误率降到7.3%，在Top-5中取得了92.3%的正确率，同年的冠军是googlenet。目前使用比较多的网络结构主要有ResNet（152-1000层），GooleNet（2

一、基本简介LeNet5可以说是最早的卷积神经网络了，它发表于1998年。LeNet-5出自论文Gradient-BasedLearningAppliedtoDocumentRecognition，是一种用于手写体字符识别的非常高效的卷积神经网络。论文原文地址http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf。二、LeNet网络的基本结构LeNe

哈啰哈啰～继之前的：keras深度学习入门笔记附录1：让我们看看有多少种让搭建好的模型开始跑的方式（fit和trainonbatch）https://blog.csdn.net/timcanby/article

课程学习笔记，课程链接学习笔记同步发布在我的个人网站上，欢迎来访查看。文章目录一、Transforms的使用二、Tensor数据类型三、常见的Transforms总结一、Transforms的使用torchvision中的transforms主要是对图片进行一些变换。tranforms对应tranforms.py文件，里面定义了很多类，输入一个图片对象，返回经过处理的图片对象。transforms

Itslikeafingerpointingawaytothemoon.Dontconcentrateonthefingeroryouwillmissallthatheavenlyglory.目录什么是二分类？符号解释logistic回归sigmoid函数logistic回归损失函数什么是二分类？有一组图片，里面有些是小猫咪，有些不是小猫咪。每张图片由64×64个像素组成，每个像素包含（红、绿、蓝

CNN卷积神经网络-LeNet具体实现及代码讲解本次笔记来源bilibili霹雳吧啦Wzpytorch官方demo(Lenet)个人github仓库：heisenbergCh/way-to-deep-learning:个人零基础自学深度学习时产生的笔记与示例代码参照官网demo定义LeNet网络结构完整代码：importtorch.nnasnnimporttorch.nn.functionalas

深度学习入门笔记文章目录深度学习入门笔记第一章Python入门第二章感知机第三章神经网络第四章神经网络的学习第五章误差反向传播法第六章与学习相关的技巧第六章与学习相关的技巧第七章卷积神经网络第八章深度学习第一章

神经网络的基本骨架nn.Module的使用torch.nn.简介搭建神经网络常用的工具在torch.nn模块。官网：https://pytorch.org/docs/stable/nn.htmlContainers中文翻译为容器，但这里可以理解为骨架，往这个骨架中添加一些内容就可以构成一个神经网络ConvolutionLayersPoolingLayersPaadingLayers都是要添加进网络

用哔哩哔哩上跟着李沐学AI尝试入门深度学习,这里是笔记区,用于记录以整理所学工具篇pytorch类似于numpy中的数组ndarray,pytorch也有自己的数组张量(tensor)二者相似但不相同创建一个内容为0~11的张量:1.在一个tensor中可以使用的方法:shape()返回tensor形状2.numel()numberofelement,返回元素个数(返回值为一个int类型)3.re

深度学习入门学习记录（一）文章目录深度学习入门学习记录（一）一、数据处理基础知识二、数据预处理1.创建一个人工数据集，并且储存在csv的文件一、数据处理基础知识x=torch.arange(12)#张量（tensor）表示由一个数值组成的数组，这个数组可能有多个维度。print(x)#tensor([0,1,2,3,4,5,6,7,8,9,10,11])print(x.shape)#用shape访

目录ShuffleNetV1ShuffleNetV1的亮点ShuffleNetV2对于网络复杂度的考虑高效网络设计实用指南输入输出具有相同channel的时候，内存消耗是最小的（相同维度的通道数将最小化MAC）过多的分组卷积操作会增大MAC，从而使模型速度变慢模型中的分支数量越少，模型速度越快不要忽略元素级操作V1有何不好？ShuffleNetV2结构ShuffleNetV2网络结构Shuffle

首先，明确RNN的主要任务是用于文本分类，而解决文本分类任务最经典的模型是词袋模型（Bag-of-WordsModel），如图所示，输入是三个句子，词袋模型首先要定义一个词汇表vocabulary，里面记录了单词与数字的对应关系，共9个单词，所以特征矩阵就有9列；然后特征矩阵的每一行对应一个输入样本，统计这9个单词在句子中的出现次数（词频），填入对应单词的位置即可；最后将特征矩阵与标签y训练分类器

一、图像的基本操作（1）读取图像Img=cv2.imread（"xx.jpg"）img的数据类型为ndarray的格式（2）图像显示可以多次调用，创建多个窗口cv2.imshow（"image",img）（3）等待时间毫秒级，0表示任意键终止，如数字10000表示10秒后自动关闭cv2.waitKey(0)cv2.destroyAllWindows()（4）图片的属性img.shape(414,5

Python深度学习入门笔记文章目录Python深度学习入门笔记1.感知机感知机是什么感知机能干什么用导入权重和偏置感知机的局限性用图表示感知机实现与门用图表示感知机无法实现与门线性和非线性多层感知机2

自适应线性神经元概念自适应线性神经网络（ADALINE——AdaptiveLinearNeuron）是在感知器的基础上进行的一种改进。激活函数采用线性连续的函数来代替阶跃函数。自适应神经元&感知器激活函数：自适应神经元使用线性激活函数，感知器使用阶跃函数。误差更新：自适应神经元在最终结果前进行更新，感知器在最终结果后进行更新。损失函数：自适应神经元使用SSE最为损失函数，感知器没有损失函数。应用：

Alex提出的alexnet网络结构模型，在imagenet2012图像分类challenge上赢得了冠军。作者训练alexnet网络时大致将120万张图像的训练集循环了90次，在两个NVIDIAGTX5803GBGPU上花了五到六天。来源论文：Krizhevsky,Alex,IlyaSutskever,andGeoffreyE.Hinton.“Imagenetclassificationwith