LearningRate

深度学习调参大法

目录1.trick1：深度学习调参核心点2.trick2：关于深度学习Model选型问题3.trick3：关于数据4.trick4：关于调参4.1.关于Lossfunction调参策略4.2.关于Learningrate
Joker 007·2025-06-01 07:12

Q-Learning算法：从原理到路径搜索代码实现

3.1Q-Learning算法概述3.2Q值的定义3.3Q-Learning算法步骤3.4Q-Learning的收敛（Bellman期望方程）四、参数的影响和选取建议4.1折扣率（DiscountFactor）4.2学习率（LearningRate
艰默·2025-04-25 10:07

【无标题】

深度学习核心概念：学习率与梯度深度解析导读学习率（LearningRate）与梯度（Gradient）是深度学习模型训练的核心概念，直接影响模型的收敛速度和效果。
冰蓝蓝·2025-03-28 14:23

训练模型时，步长为什么不能太大也不能太小？

在训练模型时，步长（也称为学习率，LearningRate）是一个关键的超参数，它控制着每次参数更新的大小。
yuanpan·2025-03-15 16:52

深度学习篇---深度学习中的超参数&张量转换&模型训练

文章目录前言第一部分：深度学习中的超参数1.学习率（LearningRate）定义重要性常见设置2.批处理大小（BatchSize）定义重要性常见设置3.迭代次数（NumberofEpochs）定义重要性常见设置
Ronin-Lotus·2025-02-06 21:50

利用MMDetection进行模型微调和权重初始化

目录模型微调修改第一处：更少的训练回合Epoch修改第二处：更小的学习率LearningRate修改第三处：使用预训练模型权重初始化实际使用案例init_cfg的具体使用规则初始化器配置汇总本文基于MMDetection
MickeyCV·2025-01-27 07:27

24 优化算法

）梯度消失小结凸性（convexity）凸集凸函数（convexfunction）凸函数优化凸和非凸例子小结梯度下降（gradientdescent）1、梯度下降算法是最简单的迭代求解算法2、学习率（learningrate
Unknown To Known·2024-08-22 01:31

梯度提升树系列7——深入理解GBDT的参数调优

目录写在开头1.GBDT的关键参数解析1.1学习率（learningrate）1.2树的数量（n_estimators）1.3树的最大深度（max_depth）1.4叶子节点的最小样本数（min_samples_leaf
theskylife·2024-02-11 14:40

Graph Contrastive Learning with Augmentations

设计四种类型的数据增强，在不同的settings（learningrate，batchsize，dropout参数）下，研究这四种增强对不同数据集的影响。
tutoujiehegaosou·2024-02-09 00:54

设计一个可以智能训练神经网络的流程

设计一个可以智能训练神经网络的流程，需要考虑以下几个关键步骤：初始化参数：设定初始的batchsize和learningrate，以及其他的神经网络参数。
东方佑·2024-02-05 05:07

CS229-DAY2：梯度下降（Gradient Descent）

步长（Learningrate）：步长决定了在梯
shyayaya·2024-02-03 01:44

【吴恩达深度学习】— 参数、超参数、正则化

比如算法中的learningrate（学习率）、iterations(梯度下降法循环的数量)、L（隐藏层数目）、（隐藏层单元数目）、choiceofactivationfunction（激活函数的选择）
Sunflow007·2024-02-02 13:58

【论文复现】Conditional Generative Adversarial Nets（CGAN）

loss(discriminator_train_step)二、G的loss(generator_train_step)2.4实验分析2.4.1超参数调整一、batchsize二、epochs三、Adam：learningrate
QomolangmaH·2024-02-01 12:09

《python神经网络编程》二

:#类似于java的构造方法，所有方法都有一个self参数，相当于class内部方法都带有this指#指针一样，指向当前对象def__init__(self,inodes,hnodes,onodes,learningRate
sadamu0912·2024-01-31 20:54

梯度下降方法中的学习率(learning rate), 衰减因子(decay) 冲量(momentum)

建议读者直接阅读链接中的文章1.https://www.jianshu.com/p/58b3fe300ecb2.https://www.jianshu.com/p/d8222a84613c学习率学习率lr(learningrate
17420·2024-01-28 21:04

深度学习参数调整—学习笔记

文章目录概念参数和超参数超参数分类欠拟合和过拟合学习率（learningrate）epoch批次大小（batch_size）step参考资料概念训练机器学习算法的主要目的是调整权重以最小化损失或成本。
studyeboy·2024-01-28 21:32

scheduler：pytorch训练过程中自动调整learning rate

importtorch.optimasoptimoptimizer=optim.Adam(net.parameters(),lr=1e-3,betas=(0.9,0.99))在使用PyTorch训练神经网络时，可能需要根据情况调整学习率（learningrate
robin_ze·2024-01-28 21:32

机器学习 | Python算法XGBoost

下面是一些常用的XGBoost算法调参技巧：学习率（learningrate）：学习率控制每个回归树（boostinground）对最终预测结果的贡献程度。
天天酷科研·2024-01-27 07:22

李宏毅机器学习——深度学习训练的技巧

神经网络训练的技巧优化失败的原因:局部最小值或鞍点，可以通过对H矩阵特征值正负性进行判断batch：加快梯度的计算，更新参数的速度比较快momentum:越过局部最小值或鞍点learningrate:自动调整学习率如
migugu·2024-01-24 04:17

XGBoost在时间序列分析中的高级应用

金融数据预测2.2销售预测2.3能源消耗预测2.4网络流量分析2.5医疗时间序列分析3.实际应用场景3.1一个简单的例子3.2广告领域的demo4.时间序列预测中的XGBoost参数调优4.1学习率（LearningRate
theskylife·2024-01-21 15:51

深度学习中常见的优化方法——SGD，Momentum，Adagrad，RMSprop， Adam

learningrate不易确定，如果选择过小的话，收敛速度会很慢，如果太大，lossfunction就会在极小值处不停的震荡甚至偏离。
AI小白龙*·2024-01-17 22:08

pytorch调整模型学习率

lr_scheduler.StepLR5.lr_scheduler.ExponentialLR6.lr_scheduler.CosineAnnealingLRReferences:1.定义衰减函数[Sourcecode]定义learningrate
Pr4da·2024-01-10 10:36

pytorch08：学习率调整策略

学习率（learningrate）：控制更新的步伐一般在
慕溪同学·2024-01-06 09:02

你是如何看待“内卷”现象愈发严重的问题呢？

这种问题机器学习中就有过讨论，如果learningrate过小，就很容易跑到一个局部的最优解。然后整个系统卡死在这个点上，完全不能前进。
hemiao3000·2024-01-02 06:28

【提高准确率方法总结】

文章目录1.数据集扩增2.增大数据集差异性，随机性3.使用tensortransform对数据进行预处理4.调节batch_size大小5.设置shuffle=True6.调节学习率（learningrate
【网络星空】·2023-12-30 06:40

深度学习优化器Optimizer-SGD、mSGD、AdaGrad、RMSProp、Adam、AdamW

Optimizer优化学习率learning  rate:α学习率learning\;rate:\alpha学习率learningrate:α防止除0的截断参数:ϵ防止除0的截断参数:\epsilon防止除
Leafing_·2023-12-20 08:13

【HyperQuest】调参

以此篇文章记录我的调参结果和个人总结，如果大家有更好的效果，欢迎留言交流~2调参思路最开始：没有regulation，learningrate较大，网络模型简单如果train和test接近且准确率高，说明模型
MORE_77·2023-12-06 17:22

[PyTorch][chapter 4][李宏毅深度学习][Gradient Descent]

假设损失函数为忽略二阶导数,当时候因为要考虑二阶导数，所以损失函数一般都选凸函数,二阶为0,一阶导数有驻点的函数.二常见问题1：学习率learningrate红线：学习率太小，收敛速度非常慢绿线:学习率太大
明朝百晓生·2023-12-05 07:39

深度学习记录--梯度下降法

以w为例：迭代公式ww-,其中表示学习速率(learningrate)当导数为负值时，w不断增大；当导数为正值时，w不断减小，最终都会趋于凹点(满足条件)实际上只是适用于一个变量，当有多个变
蹲家宅宅·2023-12-04 01:34

深度学习记录--logistic回归函数的计算图

以两个基础量为例)，计算图如下：前向传播已经完成，接下来完成后向传播运用链式法则依次求出,,,,补充梯度下降法--更新变量当把每个变量的导数求出后，就可以使用梯度下降法进行变量更新梯度下降法公式：,其中为学习速率(learningrate
蹲家宅宅·2023-12-03 20:09

【深度学习】参数优化和训练技巧

寻找合适的学习率(learningrate)学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经验来准确地确定
TwcatL_tree·2023-11-28 12:40

RLlib六：实战用户环境

github源码·自定义用户gymnasium环境·使用tune搜索不同的learningrate"""Exampleofacustomgymenvironment.Runthisexampleforademo.Thisexampleshowstheusageof
星行夜空·2023-11-27 01:31

【VisDrone|目标检测】保姆级教程：Cascade RCNN训练VisDrone数据集的日志信息+评估结果（五）

“lr:2.0000e-02”:学习率（learningrate）为2.0000e-02，这是相对较大的学习率，用于控制模型参数的更
旅途中的宽~·2023-11-26 10:52

【无标题】

conclusionBatchandMomentum在gradientdecent中的运用调节learningrate，Adagrad、RMSProp、Adam等优化策略的机理分类损失函数MSE、cross-entropybatchnormalization
Selvaggia·2023-11-07 14:26

python代码设置超参数_超参数调优总结，贝叶斯优化Python代码示例

神经网络模型的参数可以分为两类，模型参数，在训练中通过梯度下降算法更新；超参数，在训练中一般是固定数值或者以预设规则变化，比如批大小(batchsize)、学习率(learningrate)、正则化项系数
缪之初·2023-11-01 13:44

参数调优为什么要采样_一文详解超参数调优方法

神经网络模型的参数可以分为两类：模型参数，在训练中通过梯度下降算法更新；超参数，在训练中一般是固定数值或者以预设规则变化，比如批大小(batchsize)、学习率(learningrate)、正则化项系数
weixin_39639286·2023-11-01 13:13

梯度下降法详解 笔记

梯度下降法详解笔记梯度下降法Gradientdescentalgorithmθt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha•gθt+1=θt−α•gα\alphaα:学习效率数字(learningrate
Lu君·2023-11-01 02:12

三、线性神经网络

3.1线性回归3.1.1.1随机梯度下降‘其中，|β|表示每个小批量中的样本数，这也称为批量大小（batch），表示学习率（learningrate）。w,b称为超参数，根据训练迭代结果进行调整。
懒羊羊（学习中）·2023-10-31 13:51

pytorch笔记：调整学习率（torch.optim.lr_scheduler）

1概述torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（learningrate）的方法。
UQI-LIUWJ·2023-10-29 05:33

learning rate

这里写目录标题learningrate单一固定（one-size-fits-all）的学习率Model训练到驻点很困难（学习率太大不能收敛，学习率太小收敛太慢）如何客制化学习率？
Selvaggia·2023-10-28 01:15

强化学习------PPO算法

off-policy下的梯度公式推导二、PPO算法两种形式1、PPO-Penalty2、PPO-Clip三、PPO算法实战四、参考简介PPO算法之所以被提出，根本原因在于PolicyGradient在处理连续动作空间时Learningrate
韭菜盖饭·2023-10-27 23:36

学习率（Learing Rate）的作用以及如何调整

1.什么是学习率学习率(Learningrate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。
一枚小菜程序员·2023-10-26 08:15

人工智能与深度神经网络,人工智能人工神经网络

学习率(LearningRate，LR。常用η表示。)是一个超参数，考虑到损失梯度，它控制着我们在多大程度上调整网络的权重
「已注销」·2023-10-24 07:59

预测宝可梦武力值、分类宝可梦

股票预测无人车看到的各种sensor影像镜头看到马路上的东西作为输入，输出就是方向盘角度等等的操纵策略scalar标量这个是热力图，相当于你的XYZ但是Z用颜色表示了closed-formsolution闭合解learningrate
Selvaggia·2023-10-23 10:43

深度强化学习DRL训练指南和现存问题（D3QN（Dueling Double DQN））

iterationepisodeepochBatch_SizeExperimenceReplayBuffer经验回放缓存Rewarddiscountfactor或gamma折扣因子Agent神经网络batchnormalization批归一化dropout随机失活lr(learningrate
参宿7·2023-10-14 09:32

概念辨析: step, iteration, epoch, batchsize

引言step,iteration,epoch,batchsize,learningrate都是针对模型训练而言的，是模型训练中设置的超参数。样本在机器学习中，样本是指数据集中的一部分完整的数据个体。
叶老师讲大数据·2023-10-14 09:01

机器学习笔试面试题——day4

选择题2、我们想在大数据集上训练决策树,为了使用较少时间,我们可以A增加树的深度B增加学习率(learningrate)C减少树的深度D减少树的数量增加树的深度,会导致所有节点不断分裂,直到叶子节点是纯的为止
我们家没有秃头的基因·2023-10-06 12:39

线性回归&逻辑回归&正则化

本文为《吴恩达机器学习》课程笔记线性回归代价函数CostFuction它的目标是:选择出可以使得建模误差的平方和能够最小的模型参数批量梯度下降BatchGradientDescent是学习率（learningrate
susion哒哒·2023-09-27 20:50

xgboost参数调优

一.确定最佳决策树数量选择较高的学习速率(learningrate)。一般情况下，学习速率的值为0.1。但是，对于不同的问题，理想的学习速率有时候会在0.05到0.3之间波动。
有机会一起种地OT·2023-09-19 03:44

深度学习中有哪些超参数，都有什么作用

以下是一些常见的超参数及其作用：学习率（LearningRate）：控制参数更新的步长。
githubcurry·2023-09-01 13:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他