gradient

深度学习（三）：优化器

总的来说可以分为三类，一类是梯度下降法（GradientDescent），一类是动量优化法（Momentum），另外就是自适应学习率优化算法。
大家都要开心·2022-12-09 16:07

深度学习的学习率

学习率越小，损失梯度下降的速度越慢，收敛的时间更长，如公式所示：new_weight=existing_weight—learning_rate*gradient(新权值=当前权值–学习率×梯度)如果学习率过小
大西瓜不甜·2022-12-09 16:32

深度学习相关基础理论

反向传播与梯度下降算法在深度学习中最重要的算法莫过于反向传播算法（BackPropagation，BP）和梯度下降算法（GradientDescent，GD），从宏观上理解深层神经网络中的这两个算法，前项传播经激活函数输入到后一层
Reflect2022·2022-12-09 15:09

保姆级教程吴恩达机器学习ex1Matlab代码解析

%%MachinelearningFromAndrewwithMatlabex1%%Byyouknowwho3_3inCSDN#GirlsHelpGirls#DOUBANEZU%1.GradientDescenttogetmintheta
youknowwho3_3·2022-12-09 15:54

疑难杂症｜Blender3.0窗口闪烁问题

【Edit】-【Preferences】-【Themes】-【3DViewport】-【GradientColors】-【BackgroundType】-【SingleColor】
BBBlueUUmii·2022-12-09 13:45

最优化理论与方法2--算法篇

（1）梯度下降（GradientDescentMethod）：泰勒一阶展开分析可得。优点：通俗易懂，且只算梯度。缺点：收敛速度慢，线性收敛，震荡。最速下降：不仅包括迭
Oxalate-c·2022-12-09 13:34

全梯度下降算法、随机梯度下降算法、小批量梯度下降算法、随机平均梯度下降算法、梯度下降算法总结

一、常见梯度下降算法全梯度下降算法(Fullgradientdescent，FGD）随机梯度下降算法（Stochasticgradientdescent，SGD）随机平均梯度下降算法（Stochasticaveragegradientdescent
learning-striving·2022-12-09 12:06

Tensorflow2梯度带tape.Gradient的用法_（全面，深入)

Tensorflow2梯度带tape.Gradient的用法前言用法Demo1:最简单的Demo2：GradientTape的嵌套两层嵌套分别对不同的变量求导，外层的求导依赖于内层的结果。
MasterQKK 被注册·2022-12-09 12:01

基于时间的反向传播算法BPTT（Backpropagation through time）

本文是读“RecurrentNeuralNetworksTutorial,Part3–BackpropagationThroughTimeandVanishingGradients”的读书笔记，加入了自己的一些理解
snaillup·2022-12-09 10:11

CRF++代码解读

目录代码结构特征提取数据读入生成特征函数学习过程计算loss和gradientbuildLatticeforwardbackward优化算法lbgfs停止条件预测过程之前我们在理论篇中详细介绍了CRF的公式推理
muyuu·2022-12-09 10:37

梯度向量的超简单理解

一阶导→函数在三维空间的变化率→三维向量/梯度向量梯度向量(Gradientvector)公式导数→求变化率求偏导→只研究某个因素的变化率
丰。。·2022-12-09 10:53

RNN的反向传播算法（Backpropagation）

英文详细解析：https://neptune.ai/blog/understanding-gradient-clipping-and-how-it-can-fix-exploding-gradients-problem
子燕若水·2022-12-09 10:22

05-梯度下降

1.1、梯度下降梯度下降法(GradientDescent)是一个算法，但不是像多元线性回归那样是一个具体做回归任务的算法，而是一个非常通用
处女座_三月·2022-12-09 09:36

CS224n: Natural Language Processing with Deep Learning 笔记、文献及知识点整理（六）神经网络、反向传播（二）

Neuralnetworks、正向计算Forwardcomputation、反向传播Backwardpropagation、神经元NeuronUnits、最大边际损失Max-marginLoss、梯度检查Gradientchecks
放肆荒原·2022-12-09 07:22

CS224n: Natural Language Processing with Deep Learning 笔记、文献及知识点整理（六）神经网络、反向传播（一）

Neuralnetworks、正向计算Forwardcomputation、反向传播Backwardpropagation、神经元NeuronUnits、最大边际损失Max-marginLoss、梯度检查Gradientchecks
放肆荒原·2022-12-09 07:51

CS224n: Natural Language Processing with Deep Learning 笔记、文献及知识点整理（七）神经网络、反向传播（三）

Neuralnetworks、正向计算Forwardcomputation、反向传播Backwardpropagation、神经元NeuronUnits、最大边际损失Max-marginLoss、梯度检查Gradientchecks
放肆荒原·2022-12-09 07:51

LeNet-5网络结构详解和minist手写数字识别项目实践

参考论文：Gradient-BasedLearningAppliedtoDocumentRecognition组成网络虽然很小，但是它包含了深度学习的基本模块：卷积层，池化层，全连接层。
忙什么果·2022-12-09 07:51

机器学习实践（五）——Logistic回归

二、原理1.梯度下降法梯度下降法(gradientdescent)是一种常用的一阶(first-order)优化方法，是求解无约束优化问题最简单、最经典的方法之一。我们来考虑一个无约束化问题，其中为连
m0_63169186·2022-12-09 02:10

（9）-2类神经网络训练不起来怎么办？

实际上我们我们再算微分的时候，不是真的对所有的数据算出来的L作微分，而是将L分成N个batch，当我们更新参数的时候是将其中的一个Batch拿出来算gradient，然后在更新参数。
一套煎饼·2022-12-08 23:15

《PyTorch深度学习实践》自学记录 第四讲 反向传播

第三讲gradient_decent源代码和stochastic_gradient_decent源代码。
Mr.Steel Penny·2022-12-08 18:36

《PyTorch深度学习实践》自学记录 第三讲 梯度下降算法

第三讲gradient_decent源代码和stochastic_gradient_decent源代码。
Mr.Steel Penny·2022-12-08 18:34

机器学习—分类算法的对比实验

文章目录前言一、分类算法实现1.决策树2.KNN3.SVM4.逻辑回归5.朴素贝叶斯6.随机森林7.AdaBoost8.GradientBoosting二、分类算法的对比前言对各种机器学习分类算法进行对比
小白只对大佬的文章感兴趣·2022-12-08 17:09

CS231n lecture 3 损失函数和优化

lecture3损失函数和优化MulticlassSVMloss多分类SVM损失函数正则项RegularizationSoftmaxClassifier优化Optimization随机梯度下降法StochasticGradientDescent
QingYuAn_Wayne·2022-12-08 11:26

LR判断垃圾邮件spark代码

Spark-MLlib中的两个函数：1）HashingTF：从文本数据构建词频（termfrequency）特征向量2）LogisticRegressionWithSGD：使用随机梯度下降法（StochasticGradientDescent
MONKEYMOMO·2022-12-08 09:46

优化方法：SGD，Momentum，AdaGrad，RMSProp，Adam

参考：https://blog.csdn.net/u010089444/article/details/767258431.SGDBatchGradientDescent在每一轮的训练过程中，BatchGradientDescent
weixin_34133829·2022-12-08 08:04

Loss优化方法：SGD，Momentum，AdaGrad，RMSProp，Adam

1.SGDBatchGradientDescent在每一轮的训练过程中，BatchGradientDescent算法用整个训练集的数据计算costfuction的梯度，并用该梯度对模型参数进行更新：Θ=
daisyyyyyyyy·2022-12-08 08:32

辨析梯度下降

完整代码已上传至：github完整代码一、梯度下降（GradientDescent,GD)1.1梯度下降的本质梯度下降法是一种参数优化方法。
草莓酱土司·2022-12-08 08:57

深度学习optimizer：SGD，Momentum，AdaGrad，RMSProp，Adam源代码自编写及pytorch.optimizer介绍

随着深度学习的兴起，其算法的核心：梯度下降算法正不断发展，本文将简要介绍几种主流的optimizer：SGD（StochasticGradientDescent），Momentum，AdaGrad（AdaptiveGradientAlgorithm
Rekoj_G·2022-12-08 08:51

神经网络的优化器

本文是参考论文《Anoverviewofgradientdescentoptimizationalgorithms》做出的讨论。
电器爆破专家·2022-12-08 08:47

Generative Modeling by Estimating Gradients of the Data Distribution论文阅读

论文链接：GenerativeModelingbyEstimatingGradientsoftheDataDistribution文章目录摘要引文基于分数的生成建模/Score-basedgenerativemodeling
zzfive·2022-12-08 04:49

Deep Reinforcement Learning

题目是CS294-112DeepReinforcementLearningHW2：PolicyGradientsWin10+Anaconda3+Python3.6零基础目前用一个礼拜看了吴恩达的机器学习课程
马里奥奥利奥·2022-12-08 00:04

数据挖掘学习笔记-第四章 神经网络

第四章神经网络NetralNetworksBiologicalMotivation例子Perceprons感知积PowerofPerceprons实现一些逻辑上的功能GradientDescent根据误差来调整权重
weixin_30929011·2022-12-07 20:50

数据挖掘学习笔记4-神经网络

一、感知机（单层神经网络）采用梯度下降（gradientdescend）方法进行训练，wi=wi-ηΣ（t-o）xi单层神经网络无法处理线性不可分问题（如异或）二、多层感知机（带隐含层神经网络）通过将输入映射到隐含层
irony_202·2022-12-07 20:12

pytorch基础操作(二) 自动微分

1、标量的自动微分2、非标量的自动微分'''自动微分___非标量的自动微分'''#对⾮标量调⽤backward需要传⼊⼀个gradient参数，该参数指定微分函数关于self的梯度。
undo_try·2022-12-07 19:07

用MATLAB实现简单的线性回归

目录一、损失函数CostFunction二、梯度下降算法gradientDescent三、直线回归四、绘图效果致歉：公示的推导要用到LATEX，但我不太会，所以.......一、损失函数CostFunctionfunctionJ
WHS-_-2022·2022-12-07 16:45

吴恩达机器学习week6 ex5课后编程作业代码答案

EX5linearRegCostFunctionlearningCurvevalidationCurvelinearRegCostFunctionfunction[J,grad]=linearRegCostFunction(X,y,theta,lambda)%LINEARREGCOSTFUNCTIONComputecostandgradientforregularizedlinear
来来·2022-12-07 15:04

梯度下降法求函数最小值（python，numpy）

#用梯度下降法求函数最小值#coding:utf-8importnumpyasnpimportmatplotlib.pylabaspltdef_numerical_gradient_no_batch(f
虾米不打烊·2022-12-07 15:47

【深度学习原理】如何利用梯度下降法，寻找损失函数最小值？

梯度下降(GradientDescent)是用于寻找函数最小值的一种优化算法。
hennyxu·2022-12-07 15:15

梯度下降算法求解一般函数最小值

梯度下降算法python实现梯度下降算法梯度下降算法（GradientDescentOptimization）是一种神经网络模型训练最常用的优化算法。
MainF。·2022-12-07 15:13

强化学习-DDPG算法

二是使用PolicyGradient(PG)算法(例如Reinforce)直接求解。但是对于方式一，离散化处理在一定程度上脱离了工程实际；对于方式二，PG算法在求解连续控制问题时效果往往不尽人意。
数据铁人·2022-12-07 12:33

【强化学习】Deep Deterministic Policy Gradient(DDPG)算法详解

1DDPG简介DDPG吸收了Actor-Critic让PolicyGradient单步更新的精华，而且还吸收让计算机学会玩游戏的DQN的精华，合并成了一种新算法，叫做DeepDeterinisticPolicyGradient
谁最温柔最有派·2022-12-07 12:31

【Tensorflow学习一】神经网络计算过程: 搭建第一个神经网络模型

文章目录创建张量Tensor:常用函数理解axistf.Variable变量标记为“可训练”tensorflow中的数学运算函数Tensorflow的数据标签和特征配对函数tf.GradientTape
Chen的博客·2022-12-07 12:46

对抗样本生成算法-FGSM、I-FGSM、ILCM、PGD

对抗样本生成算法一、FGSM(FastGradientSignMethod)1.FGSM基本思想2.FGSM算法流程3.FGSM扰动有效性分析二、I-FGSM/BIM(IterativeFGSM)1.I-FGSM
东方旅行者·2022-12-07 12:05

sklearn中分类器

importnumpyasnpfromsklearn.svmimportSVCfromsklearn.linear_modelimportLogisticRegressionfromsklearn.treeimportDecisionTreeClassifierfromsklearn.ensembleimportGradientBoostingClassifierfromsklearn.ensem
Goodness2020·2022-12-07 12:57

Lasso线性回归学习笔记（公式与代码实现）

损失函数图像与正则化之后的图像3.1损失函数图像3.2加了L~1~正则项之后的损失函数图像4L~1~范数正则化的解中有更多零的原因5Lasso线性回归6Lasso线性回归的优化算法（求最优解）6.1梯度下降（GradientDescent
尼古拉卡车斯基·2022-12-07 10:48

python进行logistic回归_Python实现Logistic回归

使用梯度下降找到最佳参数每个回归系数初始化为1重复R次:计算整个数据集的梯度使用alpha*gradient更新回归系数的向量返回回归系数defloadDataSet():dataMat=[];lab
weixin_39666496·2022-12-07 06:03

机器学习-有监督学习-集成学习方法(五)：Bootstrap-＞Boosting(提升)方法-＞eXtremeGradientBoosting算法--+决策树--＞XGBoost提升树

人工智能-机器学习-有监督学习-集成学习方法（五）：Bootstrap-＞Boosting（提升）方法-＞eXtremeGradientBoosting算法--+决策树--＞XGBoost提升树一、Bootstrap
u013250861·2022-12-07 04:21

pytorch学习笔记（七）：pytorch hook 和 关于pytorch backward过程的理解

每次gradients被计算的时候，这个hook都被调用。hook应该拥有以下签名：hoo
长夜悠悠·2022-12-07 02:56

【信息与内容安全】实验一：对抗样本攻击实验

对抗性样本攻击实验摘要：根据PyTorch官网教程中AdversarialExampleGeneration章节内容，完整实现FastGradientSignAttack(FGSM)算法。
框架主义者·2022-12-07 01:06

欢快畅游的小鱼特效

index.html欢快畅游的小鱼特效html,body{width:100%;height:100%;margin:0;padding:0;}body{background:-webkit-linear-gradient
amoureux555·2022-12-07 00:33
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他