gradient

深度学习入门基于python的的理论与实现（学习笔记）.第六章 与学习相关的技巧（第一部分）

使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法（stochasticgradientdescent），简称SGD。S
火车切片·2023-02-03 18:02

机器学习Sklearn Day6

对于二元逻辑回归来说，有多种方法可以用来求解参数θ，最常见的有梯度下降法(GradientDescent)，坐标下降法(CoordinateDescent)，牛顿法(Newton-Raphsonmethod
birdooo·2023-02-03 16:13

批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解及 batch、epoch、iteration的含义

梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（BatchGradientDescent）、随机梯度下降（StochasticGradientDescent）以及小批量梯度下降
weixin_40744387·2023-02-03 14:38

深度学习知识点笔记汇总

总共整理出16篇神经网络笔记和10篇卷积神经网络笔记，现总结如下：1.神经网络（NeuralNetwork）深度学习笔记（一）——计算梯度[ComputeGradient]深度学习笔
zeeq_·2023-02-03 13:44

pytorch backward使用解析

的计算vector-Jacobianproduct的例子理解输入和输出为标量或向量时的计算输入为标量，输出为标量输入为标量，输出为向量输入为向量，输出为标量输入为标量，输出为向量额外例子：输出为标量，gradient
November丶Chopin·2023-02-03 12:10

吴恩达深度学习课程第一课 — 神经网络与深度学习

神经网络基础（BasicsofNeuralNetworkProgramming）2.1.逻辑回归（LogisticRegression）2.2.损失函数（LossFunction）2.3.梯度下降法（GradientDescen
你的莽莽没我的好吃·2023-02-03 11:10

HTML Canvas实现线性渐变效果

可以先使用HTMLCanvas的线性渐变的函数createLinearGradient()来创建一个渐变色线性对象；然后使用addColorStop()方法定义渐变色颜色；最后将渐变颜色分配给strokeStyle
phpCN中文网·2023-02-03 10:45

Policy Gradient

BasicComponents在强化学习中，主要有三个部件(components)：actor、environment、rewardfunction。其中env和rewardfunction是事先就定好的，你不能控制的。唯一能调整的是actor的policy，使actor能获得最大的reward。PolicyofActorPolicy是一个参数为的网络input：以向量或矩阵表示的机器的obser
六回彬·2023-02-03 01:33

pytorch实现梯度下降_使用pytorch进行线性回归示例的梯度下降简介

Introduction)Inmachinelearning,usually,thereisalossfunction(orcostfunction)thatweneedtofindtheminimalvalue.GradientDescentisoneoftheoptimizationmethodsthatiswidelyappliedtodothejob
weixin_26721937·2023-02-03 00:00

iOS文字遮罩的实现及浅析

示意图遮罩前遮罩后实现方式UI布局//文字内容底部渐变UIView*gradientView=[[UIViewalloc]initWithFrame:
颠趴高手·2023-02-02 18:12

PyTorch深度学习-04反向传播（快速入门）

只看自己”博主主页：@璞玉牧之本文所在专栏：《PyTorch深度学习》博主简介：22级大数据专业大学生，科研方向：深度学习，持续创作中目录1.BackPropagation(反向传播)1.1Computergradientinsimplenetwork
璞玉牧之.·2023-02-02 16:17

强化学习简介

一些常见的算法如：Q学习，深度Q网络(DQN)，策略梯度(PolicyGradients)，演员-评论家(Actor-Critic)，以及近端策略优化(PPO)等。
csdn_LYY·2023-02-02 14:46

【纵向联邦】学习

联邦学习笔记刘洋丨联邦学习的技术挑战和应用展望杨强丨用户隐私，数据孤岛和联邦学习【20220709隐私计算峰会】刘洋丨联邦学习的技术挑战和应用展望防御方法比较：DifferentialPrivacy（DP）：数据里加噪音GradientSparsification
LilaLenu·2023-02-02 14:02

强化学习_06_pytorch-DDPG实践(Pendulum-v1)

吸收DQN的优点，同时弥补PPO这类算法的缺陷，DDPG（deepdeterministicpolicygradient）就顺应而生。它构造一个确定性策略，用梯度上升的方法来最大化值。
Scc_hy·2023-02-02 12:03

OpenCV轮廓的一些函数

文章目录前言一、cv2.Canny（image,threshold1,threshold2[,edges[,apertureSize[,L2gradient]]]）二、cv2.threshold（src
正在学习的小王同学·2023-02-02 12:58

OverflowError: Python int too large to convert to C long 吴恩达机器学习

今天学吴恩达机器学习中C1_W1_Lab05_Gradient_Descent_Soln的代码时，出现了溢出错误最后在b站视频中的评论中找到了解决方案吐槽一下，为什么百度搜索这个溢出错误，发现很多个都是同一个答案
zldomore·2023-02-02 11:14

Proximal Policy Optimization Algorithms

ProximalPolicyOptimizationAlgorithmsAbstractIntroductionBackgroundPolicyGradientMethodsTrustRegionMethodsClippedSurrogateObjectiveAdaptiveKLPenaltyCofficientPPOAlgorithmopenAIAbstract
weixin_44144171·2023-02-02 10:52

RL策略梯度方法之(十一):proximal policy optimization (PPO)

本专栏按照https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html顺序进行总结。
晴晴_Amanda·2023-02-02 10:45

《Proximal Policy Optimization Algorithms》--强化学习论文笔记

原文链接Markdown公式速写1.policygradient从onpolicy到offpolicypolicygradient：∇Rθ‾=Eτ∼pθ(τ)[R(τ)∇logpθ(τ)]\nabla\
ksvtsipert·2023-02-02 10:42

基于近端策略优化的Proximal Policy Optimization（PPO）的无人机姿态控制系统的研究——简化版

的无人机姿态控制系统的研究详细版订阅本博https://blog.csdn.net/ccsss22/article/details/1154230841.问题描述：PPO算法是由OpenAI提出的，该算法是一种全新的策略梯度（PolicyGradient
fpga和matlab·2023-02-02 10:38

PyTorch自动混合精度训练(AMP)手册

文章目录PyTorch自动混合精度训练(AMP)手册AutocastingGradientScalingNotesAutocastOpLook-up-tableReferencePyTorch自动混合精度训练
风筝大晒·2023-02-02 09:31

L03_局部最小值与鞍点

文章目录最优化失败的原因如何鉴别是局部最小值还是鞍点呢不用惧怕鞍点(Saddlepoint)最优化失败的原因梯度(gradient)为0，最优化无法继续进行下去，称这个点为criticalpoint。
cporin·2023-02-02 08:24

李宏毅机器学习笔记第8周_批次与动量

文章目录一、Review：OptimizationwithBatch二、SmallBatchv.s.LargeBatch三、Momentum1.SmallGradient2.VanillaGradient3
MoxiMoses·2023-02-02 08:52

梯度消失/爆炸与RNN家族的介绍(LSTM GRU B-RNN Multi-RNNs)-基于cs224n的最全总结

vanishinggradientsandfancyRNNs（RNN家族与梯度消失）文章目录vanishinggradientsandfancyRNNs（RNN家族与梯度消失）内容大纲：VanishinggradientExplodinggradient
不爱写程序的程序猿·2023-02-02 08:41

梯度累积（Gradient Accumulation）

梯度累积（GradientAccumulation）是一种不需要额外硬件资源就可以增加批量样本数量（BatchSize）的训练技巧。
HadesZ~·2023-02-02 07:50

gradient_accumulation_steps --梯度累加理解

参考：https://blog.csdn.net/Princeicon/article/details/108058822https://blog.csdn.net/weixin_43643246/article/details/107785089假设情景：batch_size=10#每批次大小total_num=1000#数据总量按照训练一个批次数据，更新一次梯度；训练步数train_steps
ningyuanfeng·2023-02-02 07:49

梯度累加(Gradient Accumulation)

运行一些预训练的large模型时，batch-size往往设置的比较小1-4，否则就会‘CUDAoutofmemory’，但一般batch-size越大(一定范围内)模型收敛越稳定效果相对越好，这时梯度累加(GradientAccumulation
SUN_SU3·2023-02-02 07:18

pytorch DDP加速之gradient accumulation设置

pytorchDDP参考：https://zhuanlan.zhihu.com/p/250471767GPU高效通信算法-RingAllreduce：https://www.zhihu.com/question/57799212/answer/612786337梯度累积：https://www.zhihu.com/question/303070254/answer/573037166gradien
kaims·2023-02-02 07:15

通俗理解深度学习梯度累加(Gradient Accumulation)的原理

首先你得明白什么是梯度，可以看我之前写的一篇博客：微分与梯度的概念理解本质上，梯度是一种方向导数，是一个矢量，因此这里的梯度累加并不是简单的相加，而是类似于初高中物理学的力的合成，梯度作为一种方向导数(矢量)的其累加的效果就是将各个小的梯度合成为一个指向Lossfunction最终优化方向的梯度。这里结合代码理解一下：正常训练的过程fori,(images,labels)inenumerate(t
daimashiren_1999·2023-02-02 07:11

Gradient Accumulation 梯度累加 (Pytorch)

我们在训练神经网络的时候，batch_size的大小会对最终的模型效果产生很大的影响。一定条件下，batch_size设置的越大，模型就会越稳定。batch_size的值通常设置在8-32之间，但是当我们做一些计算量需求大的任务(例如语义分割、GAN等)或者输入图片尺寸太大的时候，我们的batchsize往往只能设置为2或者4，否则就会出现“CUDAOUTOFMEMORY”的不可抗力报错。那么如何
hxxjxw·2023-02-02 07:39

吴恩达机器学习_第一周笔记

UnsupervisedLearning（无监督学习）2ModelandCostFunctionModelRepresentationCostFunction(代价函数)代价函数的图像3ParameterLearning(GradientDescent
weixin_Saturn·2023-02-01 20:17

卷积神经网络(CNN)介绍05-优化器

常见优化器介绍BatchGradientDescent（BGD）★梯度更新规则:BGD采用整个训练集的数据来计算costfunction对参数的梯度。
林夕雨小月·2023-02-01 20:40

神经网络中的优化器

inputxandpredictbasedonxloss=loss_func(prediction,y)#mustbe(1.nnoutput,2.target) 计算损失optimizer.zero_grad()#leargradientsfornexttrain
老男孩li·2023-02-01 20:37

NLP涉及技术原理和应用简单讲解【一】：paddle（梯度裁剪、ONNX协议、动态图转静态图、推理部署）

参考链接：https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/advanced/gradient_clip_cn.html1.梯度裁剪神经网络是通过梯度下降来进行网络学习
汀、·2023-02-01 17:11

traingdx函数

其描述为：带冲量（momentum）的梯度下降(gd,Gradientdescent)和具有自适应学习速率（lr,learningrate）的反向传播(bp)的一种多层感知机（MLP，multi-layerperceptron
拦路雨g·2023-02-01 13:53

数据分析-深度学习Pytorch Day11

梯度下降法(gradientdescent)是一阶最优化算法，通常也称为最速下降法，是通过函数当前点对应梯度(或者是近似梯度)的反方向，使用规定步长距离进例行迭代搜索，从而找到一一个函数的局部极小值的算法
小浩码出未来！·2023-02-01 12:13

cs231n作业：Assignment1-SVM

defsvm_loss_naive(W,X,y,reg):dW=np.zeros(W.shape)#initializethegradientaszero#computethelossandthegradientnum_classes
mrcoderrev·2023-02-01 11:59

CS231n作业之SVM

下面贴出需要我们自己补充的:首先进入svm.ipynb,根据提示转入linear_svm.pydefsvm_loss_naive(W,X,y,reg):dW=np.zeros(W.shape)#initializethegradientaszero
不太冷的莱昂·2023-02-01 11:51

泊松融合原理

泊松融合的核心思想不是让需要融合的两张图像直接叠加，而是让目标图像（dst）在融合部分根据源图像（src）的引导场（实际是梯度场gradientfield）“生长”出新的图像。
AI界扛把子·2023-02-01 09:45

Policy Gradient

李宏毅课堂笔记PPO(proximalpolicyoptimal)字面意思是近似策略优化，是policygradient的一个变形。先介绍PolicyGradient一个轨迹可以看做一幕。
DongXun_Lord·2023-02-01 07:51

The truth of gradient-based explanation methods

Insanitychecks,theauthordiscussedthecaseofoneconvolutionallayer,wheregradientwillactasanedgedetector.ThegradientisScreenShot2019
阮恒·2023-01-31 22:47

【js】逻辑学虚拟键盘、月亮随鼠事件、水仙花数

逻辑学虚拟键盘2body{text-align:center;background:linear-gradient(#ffdee5,#c6adff);width:100%;height:900px;}span
果冻胶·2023-01-31 10:26

【动手学深度学习】线性回归从零实现

tf.random.normaltf.reshape()tf.matmul()读取数据range()random.shuffle()tf.constantyield()初始化模型参数定义模型定义损失函数定义优化算法训练tf.GradientTape
往阳光走·2023-01-31 09:32

Python中曲率与弯曲的转换_python – numpy中的曲线曲率

我把这个答案放在一起几个小时,所以我错过了你最新的编辑,表明你只需要曲率.希望这个答案无论如何都会有所帮助.除了做一些曲线拟合,我们的近似导数的方法是通过finitedifferences.谢天谢地,numpy有一个gradient
weixin_39703926·2023-01-31 07:25

卷积神经网络结构——LeNet-5（卷积神经网络入门，Keras代码实现）

原论文Gradient-BasedLearingAppliedtoDocumentRecognition
松涛声·2023-01-31 06:05

【Android】代码中动态设置 drawable 背景

//dp1是1dp对应的像素值，单位为floatvartvBg=GradientDrawable().apply{shape=Gra
Android_大船·2023-01-31 06:20

Deep Residual Learning for Image Recognition（ResNet，残差网络）

背景随着网络结构的加深，带来了两个问题：一是vanishing/explodinggradient，导致了训练十分难收敛，这类问题能够通过normalizedinitialization和intermediatenormalizationlayers
哒丑鬼·2023-01-30 20:48

【修改el-menu主菜单和子菜单悬浮的背景色】

important;background:linear-gradient(270deg,#F2F7FC0%,#FEFEFE100%)!
就躺了吧·2023-01-30 19:33

监督学习week 2: 多变量线性回归optional_lab收获记录

目录1.numpy基础2.MultipleVariableLinearRegression编辑①costfunction②gradient编辑③GradientDescentWithMultipleVariables
_Brooke_·2023-01-30 17:19

机器学习笔记week1(Andrew NG)

(AndrewNG)martin机器学习笔记week1AndrewNGLinearRegressionwithoneVariable单变量线性回归ModelandCostFunction模型和损失函数GradientDesent
ice_martin·2023-01-30 17:12
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他