tf.histogram_summary(layer_name+"/weights",Weights)#name命名，Weights赋值tf.scalar_summary('loss',loss)#命名和赋值#合并到Summary中merged=tf.merge_all_summaries()#选定可视化存储目录writer=tf.train.SummaryWriter("/目录",sess.gr

队列类型FIFOQueue()#先入先出队列RandomShuffleQueue()#随机队列queue1=tf.RandomShuffleQueue(...)queue2=tf.FIFOQueue(...)##出入队列#enqueue()、enqueue_many()#dequeueu()、dequeue_many()enqueue_op=queue.enqueue(example)inputs

训练模型时，我们并不是直接将图像送入模型，而是先将图像转换为tfrecord文件，再将tfrecord文件送入模型。为进一步理解tfrecord文件，本例先将6幅图像及其标签转换为tfrecord文件，然后读取tfrecord文件，重现6幅图像及其标签。1、生成tfrecord文件importosimportnumpyasnpimporttensorflowastffromPILimportIma

这是学习TensorFlow过程中记录的一点笔记，在此分享一下。文章目录TensorFlow简介安装教程一个小例子Session会话控制Variable变量placeholder传入值activationfuntion激励函数建造一个神经网络优化器optimizertensorboard可视化助手例子1例子2Classification分类学习卷积神经网络Saver保存读取保存读取TensorFl

神经网络像一个黑盒，我们无法解释清楚单个权重或偏置对输出的影响，但如果我们可以得到权重和偏置在训练过程中的变化趋势，对它们有一个宏观认识，也是不错的。运用summary就可以实现上述目的，具体如下：1、定义summary，如mean=tf.reduce_mean(w1)stddev=tf.sqrt(tf.reduce_mean(tf.square(w1-mean)))tf.summary.scal

1、编辑withtf.name_scope(‘input’)，将若干个变量打包起来并命名为input；2、编辑writer=tf.summary.FileWriter(‘logs’,sess.graph)，将计算图保存在logs文件夹；3、运行Python代码，得到计算图文件；4、在命令行窗口运行tensorboard--logdirlogs，得到一个网址；5、用谷歌浏览器打开该网址，即可查看计算

对于神经网络过拟合问题，一般有以下解决方法：1、引入dropout，在训练的时候，让一部分神经元随机失活，增加网络稀疏性，有利于特征选择，防止过拟合；2、引入batchnormalizatin，不仅对输入层的输入数据进行标准化（减均值，除标准差），还对隐藏层的输入数据进行标准化，防止过拟合；3、引入l1_regularization，在训练的时候，对损失函数做一些限制，在权重参数更新时，使很多权值

使用tensorflow框架搭建全连接神经网络，用于识别手写体数字，希望对大家有帮助。importtensorflowastffromtensorflow.examples.tutorials.mnistimportinput_data#获取数据集#one_hot设置为True，将标签数据转化为0/1，如[1,0,0,0,0,0,0,0,0,0]mnist=input_data.read_data

tensorflow1.安装1.1Anaconda安装1.2安装tensorflow1.2.1使用国内清华镜像1.2.2安装tensorflow1.2.3.测试2.安装pycharm3.Tensor3.1如何创建一个张量3.1.1指定值张量生成3.1.2随机张量生成3.1.3`常用函数`3.1.4数学运算函数3.1.5数据与标签配对3.1.6求导函数3.1.7枚举函数3.1.8独热编码3.1.9`

tensorflow学习笔记1本文主要记录我在慕课上观看北大曹建老师的《人工智能实践：Tensorflow笔记》，链接：https://www.icourse163.org/course/PKU-1002536002

为什么选择TensorFlow？自从12年AlexNet获得ImageNet大赛的冠军后，深度学习开始流行起来，也因为硬件的快速发展GPU并行计算配合易用的API，让深度学习以及神经网络大方光彩。深度学习的框架其实有很多，目前来说最火的还要数PyTorch，TensorFlow以及Keras。其中Pytorch比较适合学术研究，自己搞着玩，如果工业实践就不太适合了。TensorFlow由于时间比较

文章目录总览模型创建Sequential函数式调用小结Model常用属性和方法模型编译模型训练训练记录模型评估模型使用总览最近在学习TensorFlow2的API，官方教程一开始就介绍了整合进TensorFlow中的Keras。学习了一些基本API之后发现Keras的API较为友善，并且非常具有结构性，基本工作流也有较为固定的模式。一图胜千言，在此先总结出tensorflow.keras的基本工作

从开始做NLP开始，不知道接触过这几个概念多少次，也不知道百度过多少次，每次都会选择性遗忘，所以这一次就写一份统一的笔记用作记录。在这里感谢我阔耐温柔贤惠大方美丽的同桌给我分享了一份她的笔记！在这篇文章中，我争取以一个计算机学生的视角来讲解该知识。作为一个非数学非物理的计算机科班出身再加上数二72分的辣鸡程序员来说，我最开始以为这一坨是很深奥，很复杂的内容，尤其是在你百度张量的时候，如果不加上“计

基础函数本次学习到以后可能会用到的基本函数1.tf.where#1.tf.where()importtensorflowastfa=tf.constant([1,2,3,1,1])b=tf.constant([0,1,3,4,5])c=tf.where(tf.greater(a,b),a,b)#若a>b（由greater函数充当这里的条件，#greater就是比较它里面的元素，左边是否大于右边，是

数据的批标准化本篇主要讲述什么是标准化，为什么要标准化，以及如何进行标准化(添加BN层)。1.什么是标准化传统机器学习中标准化也叫做归一化。一般是将数据映射到指定的范围，用于去除不同维度数据的量纲以及量纲单位(说白了就是让数据尽可能处于某个范围内)。数据标准化让机器学习模型看到的不同样本彼此之间更加相似，这有助于模型的学习与对新数据的泛化。常见的数据标准化形式：标准化：将数据减去其平均值使其中心值

今天说说使用深度学习进行目标检测的文章，第一部分讲讲Singleshotdetector（SSD）和MobileNet。这二者相结合，可以用来实现更快速的，实时的目标检测，尤其是在资源有限的设备上（包括RaspberryPi,smartphones等等）。这里就说说如何使用OpenCV中的dnn模块，用来导入一个实现训练好的目标检测网络。使我们可以把图像传送到深度网络中，然后得到图中每个物体的包围

/data:\udcbeܾ\udcf8\udcb7\udcc3\udcceʡ\udca3;Input/outputerrorTensorFlow学习笔记：获取incep

在训练深度神经网络的时候，我们经常会使用Dropout，然而在test的时候，需要把dropout撤掉.为了应对这种问题，我们通常要建立两个模型，让他们共享变量。详情.也可以通过设置train_flag,这里只讨论第一个方法可能会碰到的问题.为了使用Tensorboard来可视化我们的数据，我们会经常使用Summary，最终都会用一个简单的merge_all函数来管理我们的Summary错误示例当

TensorFlow学习笔记（1）----基础概念和程序的形式1.概念graph：图，表示具体的计算任务session：会话，图需要在会话中执行，一个会话可以包含很多图graph只是定义了计算，他本身不计算任何东西

以及参考了两个博客，分别是：博主骑着蜗牛向前跑的tf.pad函数功能介绍和博主caicaiatnbu的[TensorFlow学习笔记-08]tf.pad函数源码解析侵删。

当我们训练自己的神经网络的时候，无一例外的就是都会加上一句sess.run(tf.global_variables_initializer())，这行代码的官方解释是初始化模型的参数。那么，它到底做了些什么？一步步看源代码：（代码在后面）global_variables_initializer返回一个用来初始化计算图中所有globalvariable的op。这个op到底是啥，还不清楚。函数中调用了

2019.10.10提取张量的某一维一、要点总结最好使用tf.slice函数，可以保持提取出的切片的维度，如果采用类似list的方法，维度会降低，具体可看代码二、实验代码场景：假设我有一个3x3的张量，我希望提取出其第一列，然后每一列都减去第一列的值importtensorflowastfimportnumpyasnpa=np.array(range(9))x=tf.constant(a)x=tf

title:tensorflow学习笔记date:2017/11/2012:04:12categories:深度学习tags:目标检测深度学习神经网络matplotlib.pyplot的使用：importmatplotlibmatplotlib.use

水平有限,如有错误,请指正!在tensorflow中,有两个scope,一个是name_scope一个是variable_scope,这两个scope到底有什么区别呢?先看第一个程序:withtf.name_scope("hello")asname_scope:arr1=tf.get_variable("arr1",shape=[2,10],dtype=tf.float32)printname_s

之前的例子，给的都是tf来做regression，也就是回归问题，现在用tf来做一个classification的处理，也就是分类问题。这里用的数据集是mnist数据。代码："""Pleasenote,thiscodeisonlyforpython3+.Ifyouareusingpython2+,pleasemodifythecodeaccordingly."""importtensorflowa

最近在研究tensorflow自带的例程speech_command,顺便学习tensorflow的一些基本用法。其中tensorboard作为一款可视化神器，可以说是学习tensorflow时模型训练以及参数可视化的法宝。而在训练过程中，主要用到了tf.summary()的各类方法，能够保存训练过程以及参数分布图并在tensorboard显示。tf.summary有诸多函数：1、tf.summa

TensorFlow学习笔记day1（1）tensorflow实质张量tensor+计算图grahpsimporttensorflowastf#tensorflow实质张量tensor+计算图grahps

简介上一篇笔记：Tensorflow学习笔记1：GetStarted我们谈到Tensorflow是基于图（Graph）的计算系统。

如何使用tensorflow内置的参数导出和导入方法：基本用法如果你还在纠结如何保存tensorflow训练好的模型参数，用这个方法就对了TheSaverclassaddsopstosaveandrestorevariablestoandfromcheckpoints.Italsoprovidesconveniencemethodstoruntheseops.来自官网的介绍。importtenso

机器学习简介为什么要学习机器学习？学习机器学习对于软件工程师而言，可以将以下三件事情做的更好：缩短编程时间自定义自己的产品使其适合特定群体解决不知如何用人工解决的问题学习机器学习还有一个更重要的原因：即机器学习可以改变我们思考问题的方式。借助于机器学习，我们可以把关注点从数学科学转移到自然科学上，通过观察不确定的世界，开展实验，并用统计而非逻辑来分析实验结果，像科学家一样思考。机器学习主要术语什么

IDE：pycharmPython:Python3.6OS:win10tf：1.5.0图片数据的预处理所谓，预处理就是对训练图片提前进行一些处理，为什么要这么干呢？？答案是为了降低其他无关因素对最后的识别结果的影响，比如说一幅图片在不同亮度或是对比度等指标下呈现的效果可能差别特别大，但是这些对于我们来说，不要影响到最后的识别结果，所以这就是预处理最想解决的东西，其次通过预处理方式也可以让数据集更加

目录数据增强tf.keras.preprocessing.image.ImageDataGenerator()断点续训提取可训练参数可视化准确率上升和损失下降训练代码给图识物数据增强tf.keras.preprocessing.image.ImageDataGenerator()ImageDataGenerator()数据输入维度是四维，如果需要输入数据不是四维，需要先reshape断点续训把上次

详细教程：https://www.tensorflow.org/programmers_guide/datasets通过tf.dataAPI，您可以根据简单的可重用片段构建复杂的输入管道。例如，图片模型的管道可能会汇聚分布式文件系统中的文件中的数据、对每个图片应用随机扰动，并将随机选择的图片合并成用于训练的批次。文本模型的管道可能包括从原始文本数据中提取符号、根据对照表将其转换为嵌入标识符，以及将

TensorFlow学习笔记02:使用tf.data读取和保存数据文件使用`tf.data`读取和写入数据文件读取和写入csv文件写入csv文件读取csv文件读取和保存TFRecord文件TFRecord

绪论在前一章中，我们学会了制作自己的数据集，不同于mnist数据集，我们自制的数据集图片是彩色图。如果在全连接网络直接输入的是三通道的RGB彩色图片，待优化的参数过多容易导致模型过拟合，而且计算量过大。所以实际应用中会先对原始图像进行特征提取（卷积）再把提取到的特征喂给全连接网络，再让全连接网络进行参数优化，得到分类评估。这样可以减小计算量等。卷积神经网络一般由卷积部分和全连接部分构成。卷积部分一

tensorflow学习笔记（十）-参数和特征的提取在tf中，参与训练的参数可用tf.trainable_variables()提取出来，如：#取出所有参与训练的参数params=tf.trainable_variables

第七讲卷积神经网络基础本节目标：会用CNN（卷积神经网络）全连接NN：每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测结果。参数个数：∑〖（前层*后层+后层）〗其中前层*后层即为w，最后的后层即为b如果输入为生活中的高分辨率彩色图像，不仅像素点会增加，还从灰度图的单通道信息，变成了红绿蓝的三通道信息，待优化的参数过多容易导致模型过拟合。为了防止过拟合，实际应用中会先对原始图

前言：神经网络模型的效果以及优化的目标是通过损失函数（lossfunction）来定义的。本章将学习适用于分类问题和回归问题的经典损失函数。分类问题和回归问题是监督学习的两大种类。一、分类问题中的损失函数分类问题希望解决的是将不同的样本分到事先定义好的类别中，例如手写体数字识别问题可以被归纳成一个十分类问题。手写体数字识别问题可以被看成将一张包含了数字的图片分类到0〜9这10个数字中。通过神经网络

Fashion-MNIST是Zalando文章图像的数据集——包括60,000个示例的训练集和10,000个示例的测试集。每个示例都是一个28x28灰度图像，与来自10个类的标签相关联。Fashion-MNISTHereistheexamplehowthedatalooks(eachclasstakesthree-rows):labeldescription0T恤（T-shirt/top）1裤子（

一、卷积神经网络简介卷积神经网络(ConvolutionalNeuralNetwork,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(convolutionallayer)和池化层(poolinglayer)。一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一

无论是之前学习的MNIST数据集还是Cifar数据集，相比真实环境下的图像识别问题，有两个最大的问题，一是现实生活中的图片分辨率要远高于32*32，而且图像的分辨率也不会是固定的。二是现实生活中的物体类别很多，无论是10种还是100种都远远不够，而且一张图片中不会只出现一个种类的物体。为了更加贴近真实环境下的图像识别问题，由李飞飞教授带头整理的ImageNet很大程度上解决了这个问题。ImageN

'''数据材料这是一个小型的人脸数据库，一共有40个人，每个人有10张照片作为样本数据。这些图片都是黑白照片，意味着这些图片都只有灰度0-255，没有rgb三通道。于是我们需要对这张大图片切分成一个个的小脸。整张图片大小是1190×942，一共有20×20张照片。那么每张照片的大小就是：（1190/20）×（942/20）=57×47（大约，以为每张图片之间存在间距）问题解决10类样本，利用CNN

数据集下载本文用卷积神经网络实现MNIST数据集分类。可在这个网站下载MNIST数据集。下载后的数据如下图所示：本文使用的网络包括2个卷积层和两个全连接层。卷积核大小为5×5，第一个卷积层有32个卷积核，第二个卷积层有64个卷积核。第一个全连接层有1024个节点，第二个全连接层有10个节点。使用的激活函数为ReLU激活函数，优化器为Adam，ReLU+Adam也是我在论文里见的最多的搭配，最后一层

在TensorFlow中提供了一些图像增强的方法，比如放缩、裁剪、翻转、改变光照和对比度等。下面分别对这几种方法进行介绍：首先显示原图像，代码如下：importnumpyasnpimporttensorflowastfimportmatplotlib.pyplotaspltfrommatplotlib.pyplotimportimshowname='./0.png'#图片名称img_string=

今天来实现tensorflow架构下的卷积神经网络，首先了解清楚我们要构建的网络架构，数据集还是用mnist，所以输入还是28X28。建立的卷积神经网络架构是：卷积层->pooling层->卷积层->pooling层->全连接层1->全连接层2。全连接层的尺寸公式：N=(W−F+2P)/S+1参数解释：输入图片大小W×WFilter大小F×F步长Spadding的像素数P因为定义的filter所以

一、加载MNIST数据集fromtensorflow.examples.tutorials.mnistimportinput_dataimporttensorflowastftf.compat.v1.disable_eager_execution()mnist=input_data.read_data_sets("D:/公用程序部分/tensor/MNIST_data",one_hot=True)

一、正则化此处需要学习现代数值计算方法，范数知识。1、二范数指矩阵A的2范数，就是A的转置共轭矩阵与矩阵A的积的最大特征根的平方根值，是指空间上两个向量矩阵的直线距离。类似于求棋盘上两点间的直线距离。（向量元素平方和再开方）2、一范数指的是向量元素的绝对值之和。3、无穷范数指的是向量元素中的最大值。1.正则化记损失函数和正则项分别为：因此引入正则的被优化项为：其中λ为提前挑选的值，控制我们偏好小范

转载自TensorFlow实战Google深度学习框架（第2版）1.通过神经网络解决多分类问题最常用的方法是设置n个输出节点，其中n为类别的个数。对于每一个样例，神经网络可以得到一个n维数组作为输出结果。2.如何判断一个输出向量和期望的向量有多接近呢？交叉熵（crossentropy）是常用的评判办法之一。交叉熵刻画了两个概率分布之间的距离，它是分类问题中使用比较广的一种损失函数。给定两个概率p和

喜欢摄影的盆友都知道图像的亮度，对比度等属性对图像的影响是非常大的，相同物体在不同亮度，对比度下差别非常大。然而在很多图像识别问题中，这些因素都不应该影响最后的结果。所以本文将学习如何对图像数据进行预处理使训练得到的神经网络模型尽可能小地被无关因素所影响。但与此同时，复杂的预处理过程可能导致训练效率的下降。为了减少预处理对于训练速度的影响，后面也学习多线程处理输入数据的解决方案。在大部分图像识别问

卷积网络卷积神经网络(ConvolutionalNeuralNetwork,CNN)专门处理具有类似网格结构的数据的神经网络。如：时间序列数据(在时间轴上有规律地采样形成的一维网格)；图像数据(二维的像素网格)；卷积网络是指至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。卷积前面讲过卷积，相关算法这里直接使用。卷积公式为：\(s(t)=\int_{-\infty}^{t}x(\t