gradient

大模型训练｜动态梯度压缩+混合精度架构：显存直降65%、效率飙升300%！攻克显存爆炸与带宽瓶颈

百度自研动态梯度压缩技术让大模型训练效率提升300%核心价值北京百度网讯科技有限公司通过动态梯度压缩算法（DynamicGradientCompression,DGC）与混合精度分布式训练框架，实现训练速度提升
CodePatentMaster·2025-04-01 19:33

Css环形旋转立体感动画

环形旋转立体感动画index.htmlCss环形旋转立体感动画style.csshtml{height:100%;}body{background:#222222;background:linear-gradient
不想上班只想要钱·2025-04-01 12:10

一套简约的qt 蓝色qss方案

一套简约的qt蓝色qss方案直接使用qss代码QMenu{background:qlineargradient(x1:0,y1:0,x2:0,y2:1,stop:0rgba(255,255,255,240
夏有凉风，冬有雪·2025-03-31 23:43

介绍几种创意登录页（含完整源码）

二、设计特色✅流动渐变背景✅毛玻璃视觉效果✅动态标签动画✅按钮流光特效三、关键技术CSS渐变背景：background:linear-gradient()背景模糊：backdrop-filt
Jiaberrr·2025-03-31 14:37

毕设成品 基于机器学习的乳腺癌数据分析

文章目录0简介模型评估KNNClassifierLogisticRegressionClassifierRandomForestClassifierDecisionTreeClassifierGBDT(GradientBoostingDecisionTree
m0_71572237·2025-03-31 07:47

FGSM对抗样本生成算法实现（pytorch版）

推导过程1.4直观解释1.5示例1.6总结二、代码实现2.1导包2.2数据加载和处理2.3网络构建2.4模型加载2.5生成对抗样本2.6攻击测试2.7启动攻击2.8效果展示一、理论部分FGSM（FastGradientSignMethod
入梦风行·2025-03-30 23:58

【学Rust写CAD】19 颜色渐变定义（gradient_stop.rs）

源码//color/gradient_stop.rsusesuper::argb::Color;#[derive(Clone,Copy,Debug)]pubstructGradientStop{pubposition
Source.Liu·2025-03-30 14:22

优化算法深度剖析：梯度下降、动量方法与自适应学习率

深度学习中常见的优化算法1.基础优化算法1.1梯度下降（GradientDescent）通过计算损失函数对参数的梯度，沿着梯度下降的方向更新模型参数，直到找到最小值或足够接近最小值的解。
KangkangLoveNLP·2025-03-30 00:20

【无标题】

深度学习核心概念：学习率与梯度深度解析导读学习率（LearningRate）与梯度（Gradient）是深度学习模型训练的核心概念，直接影响模型的收敛速度和效果。
冰蓝蓝·2025-03-28 14:23

前端面试题100题：问答精选与简明解析

边框圆角（border-radius），阴影（box-shadow，text-shadow），渐变（linear-gradient，radial-gradient），弹性盒模型（flexbox），媒体查询
薛飞之·2025-03-25 13:50

WGAN对抗生成数据（matlab）代码

该模型引入了梯度惩罚（GradientPen
九亿AI算法优化工作室&·2025-03-25 13:46

第三十九个问题-详细讲讲PPO & GRPO原理

1.策略梯度（PolicyGradient）基础策略梯度方法通过直接优化策略参数θθ来最大化期望回报。目标函数为：J(θ)
释迦呼呼·2025-03-24 17:45

高等数学，对梯度的理解

梯度（Gradient）是多变量微分中非常重要的概念。它描述了一个多元函数在某一点的最大上升方向及其变化率，是向量微积分中的基本工具。
伶星37·2025-03-24 14:56

如何评估一个RAG系统（RAGas评测框架）-下篇

下面是RAGas的一些链接论文：https://arxiv.org/pdf/2309.15217官方文档：Ragashttps://github.com/explodinggradients/ragas
写程序的小火箭·2025-03-22 05:13

Cesium中级开发教程之四十一：红黄蓝渐变线

二、效果图三、代码functioncreateGradientCanvas(){constcanvas=document.createElement("canvas");canvas.width=256
CesiumMaster·2025-03-21 23:20

LoRA中黑塞矩阵、Fisher信息矩阵是什么

在机器学习中常用于自然梯度下降（NaturalGradientDescent
ZhangJiQun&MXP·2025-03-20 07:15

NLP高频面试题（三）——普通RNN的梯度消失和梯度爆炸问题

普通RNN（循环神经网络）的梯度消失和梯度爆炸问题是指在训练深层或长序列的RNN模型时出现的两种典型问题：一、梯度消失（VanishingGradient）梯度消失是指在反向传播过程中，梯度逐层传播时变得越来越小
Chaos_Wang_·2025-03-19 23:34

PyTorch 深度学习实战（12）：Actor-Critic 算法与策略优化

本文将深入探讨Actor-Critic算法，这是一种结合了策略梯度（PolicyGradient）和值函数（ValueFunction）的强化学习方法。
进取星辰·2025-03-18 19:17

21-梯度累积原理与实现

在GPU内存不变的情况下，模型越来越大，那么这就意味着数据的batchsize智能缩小，这个时候，梯度累积（GradientAccumulation）可以作为一种简单的解决方案来解决这个问题。
机器人图像处理·2025-03-17 19:34

css填充容器背景色，一半一种颜色

background:linear-gradient(toright,#C3002F50%,#e8e8e80);
77n·2025-03-17 14:56

css模拟雷达扫描动画

样式：.radar-scan{background-image:linear-gradient(0deg,transparent24%,rgba(32,255,77,0.15)25%,rgba(32,255,77,0.15
像牛奶却不是牛奶·2025-03-16 06:31

max_samples，batch_size，gradient_accumulation_steps这三个分别的联系和区别

这三个参数都是控制训练数据如何被处理的，它们的作用和区别如下：1.max_samples（最大样本数）定义：限制每个数据集最多使用多少条数据。作用：控制总共参与训练的数据量，减少max_samples可以加快训练速度。你的代码示例：max_samples=300#每个数据集最多用300条样本解释：假设你的dataset里包含：identity数据集有10,000条数据alpaca_en_demo数
背太阳的牧羊人·2025-03-15 19:09

机器学习中的梯度下降是什么意思？

梯度下降（GradientDescent）是机器学习中一种常用的优化算法，用于最小化损失函数（LossFunction）。通过迭代调整模型参数，梯度下降帮助模型逐步逼近最优解，从而提升模型的性能。
yuanpan·2025-03-15 15:45

大模型高效优化技术全景解析：微调、量化、剪枝、梯度裁剪与蒸馏

目录微调（Fine-tuning）量化（Quantization）剪枝（Pruning）梯度裁剪（GradientClipping）知识蒸馏（KnowledgeDistillation）技术对比与协同策略总结与趋势
时光旅人01号·2025-03-14 15:40

XGBoost算法深度解析：从原理到实践

一、算法起源与核心思想XGBoost（eXtremeGradientBoosting）由陈天奇于2014年提出，是梯度提升决策树（GBDT）的优化版本。
彩旗工作室·2025-03-14 11:36

深度学习中常用的优化器

本文将介绍各种基于梯度下降的优化器，如Momentum，Adagrad以及Adam等等StochasticGradientDescent（SGD）MomentumAdagradRMSpropAdamAdaMax1
无能者狂怒·2025-03-14 04:16

梯度提升决策树（GBDT）

GBDT（GradientBoostingDecisionTree），全名叫梯度提升决策树，是一种迭代的决策树算法，又叫MART（MultipleAdditiveRegressionTree），它通过构造一组弱的学习器
binggorun·2025-03-12 09:18

tensorflow keras 报错 ：No gradients provided for any variable 原因与解决办法

错误分析Nogradientsprovidedforanyvariable这个意思是没有梯度给已知的所有函数，为什么会出现这个错误呢，因为在深度学习中，梯度的更新是由于反向传播算法的实现的，如果损失函数没有与已知的任何
研志必有功·2025-03-09 06:26

8.1 从28GB到7GB！大模型显存暴降4倍的量化实战指南

以LLaMA-7B模型为例，其参数规模为70亿（7B），若使用FP32（32位浮点数）存储，单参数占用4字节，总显存需求为：7B×4Bytes=28GB实际场景中，模型训练还需额外存储梯度（Gradients
少林码僧·2025-03-06 11:42

梯度下降法(Gradient Descent) -- 现代机器学习的血液

梯度下降法(GradientDescent)–现代机器学习的血液梯度下降法是现代机器学习最核心的优化引擎。
AOIWB·2025-03-02 04:19

神经网络中的Nesterov Momentum

NesterovAcceleratedGradient(NAG)，也称为NesterovMomentum，是一种改进版的动量优化算法，旨在加速梯度下降过程中的收敛速度，并提高对最优解的逼近效率。
化作星辰·2025-02-28 08:31

神经网络中的Adagrad

Adagrad（AdaptiveGradient）是一种自适应学习率的优化算法，专门设计用于在训练过程中自动调整每个参数的学习率。
化作星辰·2025-02-28 07:53

【css】字体的镜面反射

element.style{display:block;-webkit-box-reflect:below0em-webkit-gradient(linear,0%0%,0%100%,from(rgba
依轩cc·2025-02-26 21:19

GrandientBoostingClassifier函数介绍

目录前言用法示例前言GradientBoostingClassifier是Scikit-learn库中的一个分类器，用于实现梯度提升决策树（GradientBoostingDecisionTrees，GBDT
浊酒南街·2025-02-26 18:58

flutter 控件加一个边框，还是渐变的

constEdgeInsets.all(1)就可以了Container(padding:constEdgeInsets.all(1),decoration:BoxDecorationUtil().setColumnGradientBoxDecoration
氤氲息·2025-02-25 09:41

XGBoost vs LightGBM vs CatBoost：三大梯度提升框架深度解析

梯度提升树（GradientBoostingDecisionTrees,GBDT）作为机器学习领域的核心算法，在结构化数据建模中始终占据统治地位。
机器学习司猫白·2025-02-23 00:18

前端面试题四

线性渐变示例（从左到右，红色到蓝色）：background:linear-gradient(toright,red,blue);径向渐变示例（中心向四周，黄色到绿色）：background:radial-gradient
·2025-02-22 23:50

神经网络的学习 求梯度

ossys.path.append(os.pardir)importnumpyasnpfromcommon.functionsimportsoftmax,cross_entropy_errorfromcommon.gradientimportnumerical_gradient
阿崽meitoufa·2025-02-22 17:19

CSS 设置hr样式

border:0;height:1px;background-color:#333;margin:20px0;}2.改变高度hr{border:0;height:2px;background:linear-gradient
kidding723·2025-02-22 10:20

Adam Optimizer

AdamOptimizerImplementtheAdamoptimizerupdatestepfunction.Yourfunctionshouldtakethecurrentparametervalue,gradient
六月五日·2025-02-21 21:58

机器学习(四) 本文(2万字) | 梯度下降GD原理 | Python复现 |

第四章梯度下降一引入梯度二从一元到多元2.1一元函数2.1.1引入梯度下降2.1.2学习率2.1.3继续更新迭代2.2二元函数2.3多元函数三多种梯度方法3.1批量梯度下降（BatchGradientDescent
小酒馆燃着灯·2025-02-21 08:36

Google Earth Engine：如何利用将海岸线进行偏移（shoreline-raster-chip数据为例）

目录简介数据函数gradient()Arguments:Returns:Imagedisplace(displacement,mode,maxOffset)Arguments:Returns:Image
此星光明·2025-02-20 00:51

Pytorch实现论文之一种基于扰动卷积层和梯度归一化的生成对抗网络

论文题目：APerturbedConvolutionalLayerandGradientNormalizationbasedGenerativeAdversarialNetwork（一种基于扰动卷积层和梯度归一化的生成对抗网络
这张生成的图像能检测吗·2025-02-19 06:51

随机梯度下降一定会收敛么？

随机梯度下降（StochasticGradientDescent，SGD）是一种用于最小化目标函数的迭代优化算法，在机器学习和深度学习领域应用广泛。
AndrewHZ·2025-02-19 01:36

如何解决RNN梯度爆炸和弥散的问题

1.梯度裁剪（GradientClipping）：用于防止梯度爆炸。在每次参数更新之前，计算梯度的范数，如果超过某个阈值，则将梯度缩放到这个阈值。这种方法可以防止梯度在反向传播过程中变得过大。
路野yue·2025-02-18 12:40

Pytorch官方文档英语翻译

.a-e1.1span跨度1.2blended混合的1.3criterion标准1.4deprecated弃用的1.5clamp钳制1.6arbitraryshapes任意形状1.7explodinggradients
yanzhiwen2·2025-02-17 21:35

使用 HTML CSS 和 JAVASCRIPT 的黑洞动画

使用HTMLCSS和JAVASCRIPT的黑洞动画BlackHoleAnimationbody{margin:0;overflow:hidden;background:radial-gradient(ellipseatcenter
谏君之·2025-02-17 10:27

【学习笔记】李宏毅2021春机器学习课程第2.3节：Adaptive Learning Rate

文章目录Trainingstuck≠SmallGradientDifferentparametersneedsdifferentlearningrateRootmeansquareAdagradRMSPropAdamLearningRateSchedulingTrainingstuck
Harryline-lx·2025-02-16 07:21

警告accumulate and all-reduce gradients in fp32 for bfloat16 data type

这条警告信息是关于分布式训练中的通信优化策略的，具体涉及流水线并行（PipelineParallelism）和点对点通信（P2PCommunication）。以下是对这条警告的详细解释：###**警告内容**```WARNING:Settingargs.overlap_p2p_commtoFalsesincenon-interleavedscheduledoesnotsupportoverlapp
NLstudy33·2025-02-14 14:36

机器学习算法工程师笔试选择题（1）

C.批量梯度下降（BatchGradientDescent）通常收敛更快。D.学习率过大会导致梯度下降过程震荡。
Ash Butterfield·2025-02-14 00:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他