E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
反向传播
对聚类经典文献(DEC——无监督的深度嵌入式聚类)的学习(续)
目录前言一、对论文《无监督的深度嵌入式聚类》(DEC)相关知识的学习(一)论文简介:(二)相关知识点:1.KL散度2.软分配3.K-means算法4.AE(自编码器)5.
反向传播
算法二、对DEC代码的学习
llismine
·
2023-11-16 04:03
python
开发语言
吴恩达机器学习--中文笔记--第五周
吴恩达机器学习第五个星期1.代价函数与
反向传播
1.1代价函数1.2
反向传播
算法1.3
反向传播
算法的直觉理解2.实战中的
反向传播
2.参数的展开和恢复2.2梯度检查2.3随机初始化2.4步骤小结参考文献本文是在学习吴恩达老师机器学习课程的基础上结合老师的
Bill Gates's fan
·
2023-11-15 21:20
机器学习
神经网络
机器学习
基于遗传算法的BP神经网络优化算法(matlab实现)
它的名字源于在网络训练的过程中,调整网络的权值的算法是误差的
反向传播
的学习算法,即为BP学习算法。BP算法是Rumelhart等人在1986年提出来的。
配电网和matlab
·
2023-11-15 20:09
Matlab智能算法的数学建模
智能优化算法
matlab
神经网络
算法
遗传算法
人工智能
8. 深度学习——NLP
机器学习面试题汇总与解析——NLP本章讲解知识点什么是NLP循环神经网络(RNN)RNN变体Attention机制RNN
反向传播
推导LSTM与GRUTransformerBertGPT分词算法分类CBOW
华为云计算搬砖工
·
2023-11-14 18:05
机器学习面试题汇总与解析
深度学习
人工智能
面试
Ansys Lumerical | 光纤布拉格光栅温度传感器的仿真模拟
众所周知,沿着光纤主轴的折射率变化可以在布拉格波长(λ_Bragg)下引起
反向传播
模式的耦合,由以下方程给出:其中n_eff是布拉格波长下光纤基模
ueotek
·
2023-11-14 15:56
Ansys
Lumerical
深度学习原理与PyTorch实战(三) 单车预测器
本文内容源自《深度学习原理与PyTorch实战》github地址预测方法单车的需求个数与天气,日期,节假日等变量有关,我们需要建立一个神经网络,通过
反向传播
算法来训练神经网络,实现预测的效果。
volcanical
·
2023-11-12 20:19
深度学习
pytorch
python
CS224W6.2——深度学习基础
从将机器学习表述为优化问题开始,介绍了目标函数、梯度下降、非线性和
反向传播
的概念。文章目录1.大纲2.优化问题2.1举例损失函数3.如何优化目标函数?
阿牛大牛中
·
2023-11-12 16:04
图神经网络
深度学习
人工智能
神经网络
机器学习
飞桨图像分类
文章目录一、图像分类数学知识前置1.矩阵加法运算1、理论2、代码实现2.矩阵和数乘法运算1、理论2、代码实现3.矩阵乘法运算1、理论2、代码实现4.算子5.卷积6.求导法则7.
反向传播
8.MNIST9.
扬志九洲
·
2023-11-11 13:11
paddle
pyhon
自己动手实现一个深度学习算法——五、误差
反向传播
法
文章目录五、误差
反向传播
法1.计算图1)概念2)计算图3)局部计算4)计算图解题优点2.链式法则1)计算图的
反向传播
2)什么是链式法则3)链式法则和计算图3.
反向传播
1)加法节点的
反向传播
2)乘法的
反向传播
千里之行起于足下
·
2023-11-11 07:14
深度学习
机器学习
深度学习
算法
人工智能
2021.10.07 学习周报
解决方法:对输入数据和中间层的数据进行归一化操作,这种方法可以保证网络在
反向传播
中采用随机梯度下降(SGD),从而让网络达到收敛。但这种方法只对几十层的网络有用,为了让更深的网络也达到训练
李加号pluuuus
·
2023-11-10 22:37
深度学习
神经网络
简单的二层BP神经网络-实现逻辑与门(Matlab和Python)
故设输入X,输出Y为权值W1为2*2矩阵,W2为2*1矩阵(1).前向计算过程第1个神经元输出为:第2个神经元输出为:其中:(2).
反向传播
过程公式由链式求导法则得出,这里不做推导。
仲夏夜之梦xz
·
2023-11-09 13:32
机器学习
神经网络
matlab
python
深度学习基础-ReLU和Sigmoid对比
ReLU大于0则原样输出,小于0,截断Sigmoid函数ReLU相比于Sigmoid几乎是碾压的,如果能用ReLU且能用Sigmoid直接ReLU效果上:1.sigmoid函数
反向传播
时,很容易就会出现梯度消失的情况
BUAA_小胡
·
2023-11-09 12:12
深度学习中的“钩子“(Hook):基于pytorch实现了简单例子
目录基本概念一个详细的示例基于resnet50的一个hook应用例子前向传播示例
反向传播
示例基本概念在深度学习中,“钩子”(Hook)是一种机制,可以在神经网络的不同层或模块中插入自定义的代码,以便在网络的前向传播或
反向传播
过程中执行额外的操作或捕获中间结果
_刘文凯_
·
2023-11-09 05:49
深度学习
人工智能
第三章:人工智能深度学习教程-基础神经网络(第五节-了解多层前馈网络)
让我们了解
反向传播
网络(BPN)中的误差是如何计算的以及权重是如何更新的。考虑下图中的以下网络。
反向传播
网络(BPN)上图中的网络是一个简单的多层前馈网络或
反向传播
网络。
geeks老师
·
2023-11-08 22:19
人工智能深度学习
人工智能
深度学习
神经网络
机器学习
数据挖掘
自然语言处理
目标检测
第三章:人工智能深度学习教程-基础神经网络(第四节-从头开始的具有前向和
反向传播
的深度神经网络 – Python)
算法:1.可视化输入数据2.确定权重和偏置矩阵的形状3.初始化矩阵、要使用的函数4.前向传播方法的实现5.实施成本计算6.
反向传播
和优化7.预测和可视化输出模型架构:模型架构如下图所示,其中隐藏层使用双曲正切作为激活函数
geeks老师
·
2023-11-08 22:19
人工智能深度学习
python
开发语言
AI编程
深度学习
机器学习
人工智能
自然语言处理
BP神经网络的数据分类——语音特征信号分类
BP神经网络,也称为
反向传播
神经网络,是一种常用于分类和回归任务的人工神经网络(ANN)类型。它是一种前馈神经网络,通常包括输入层、一个或多个隐藏层和输出层。
带我去滑雪
·
2023-11-08 16:42
机器学习之python
神经网络
分类
人工智能
Pytorch 自定义激活函数前向与
反向传播
ReLu系列 含优点与缺点
文章目录ReLu公式求导过程优点:缺点:自定义ReLu与Torch定义的比较可视化LeakyReLuPReLu公式求导过程优点:缺点:自定义LeakyReLu与Torch定义的比较可视化自定义PReLuELU公式求导过程优点缺点自定义LeakyReLu与Torch定义的比较可视化importmatplotlibimportmatplotlib.pyplotaspltimportnumpyasnpi
jasneik
·
2023-11-08 05:04
深度学习
#
dataset
activation
日积月累
pytorch
python
深度学习
【神经网络】LSTM为什么能缓解梯度消失
的计算公式:1.遗忘门:2.输入门:3.细胞状态4.输出门2.LSTM的梯度路径根据LSTM的计算公式,可以得出LSTM的cellstate与、、都存在计算关系,而、、的计算公式又全部都与有关,所以从到的
反向传播
的公式如下
DonngZH
·
2023-11-07 21:42
深度学习
神经网络
lstm
深度学习
LSTM与梯度消失
在
反向传播
中,根据求导的链式法则,这种形式求得的梯度为一个矩阵W与激活函数导数的乘积。如果进行n次
反向传播
,梯度变化将会变为(W*f”)的n次方累乘。
杨晓茹
·
2023-11-07 21:12
RNN
模型训练----对输入变量原地操作(inplace operation)报错
意思是对输入x原地操作(inplaceoperation),一个变量在
反向传播
过程中被修改了,而不是按照预期的版本(version0)更新,导致梯度不正确。
理塘纯真丁一郎
·
2023-11-07 20:05
动手学习深度学习
机器学习
深度学习
人工智能
【无标题】
11-06周一神经网络之前向传播和
反向传播
代码实战时间版本修改人描述2023年11月6日20:54:13V0.1宋全恒新建文档简介 在神经网络的世界中,参数和权重是非常重要的概念,尤其是当下,大模型横行其道
思影影思
·
2023-11-07 18:49
机器学习
Pytorch 里面torch.no_grad 和model.eval(), model.train() 的作用
torch.no_grad:影响模型的自微分器,使得其停止工作;这样的话,数据计算的数据就会变快,内存占用也会变小,因为没有了反向梯度计算,当然,我哦们也无法做
反向传播
。
张哥coder
·
2023-11-07 06:32
深度学习知识点浅析
pytorch
人工智能
python
一起来学PyTorch——Autograd
反向传播
在计算机视觉的深度学习中,Tensor数据可以完成前向传播,想要完成整套的神经网络的训练,还需要
反向传播
和梯度更新,而PyTorch提供了自动求导机制autograd。
AI葱花868
·
2023-11-06 15:09
pytorch
python
深度学习
机器学习
计算机视觉
(14)学习笔记:动手深度学习(Pytorch神经网络基础)
同样,每个单独的层接收输入(由前一层提供),生成输出(到下一层的输入),并且具有一组可调参数,这些参数根据从下一层
反向传播
的信号进行更新。块可以描述单个层、由多个层组成的组件或者模型本身。
卡拉比丘流形
·
2023-11-06 00:05
Python
深度学习
深度学习
学习
笔记
强化学习笔记(七):蒙特卡洛树搜索(MonteCarlo Tree Search)
目录选择扩展模拟
反向传播
课外资料如果说多臂赌博机问题被看做单步强化学习任务(只用一步决策玩哪个老虎机,然后就收到回报),那么蒙特卡洛树搜索可以看做是解决多步强化学习任务的工具。
唠叨小主
·
2023-11-05 20:27
强化学习
python
算法
人工智能
强化学习
深究问题的本质
今天已经是待在图书馆的第9个小时了,还在算
反向传播
算法那一题。最重要的,不是解到问题的答案,而是深究问题的过程,那种认真的态度,值得每一个人培养。
Wincent__
·
2023-11-05 19:16
每天五分钟计算机视觉:池化层的
反向传播
然而,池化层的
反向传播
一直以来都是一个相对复杂和深奥的问题。本文将详细解释卷积网络池化层
反向传播
的实现原理,并探讨其在信息压缩方面的奥秘。池化层的
反向传播
与卷积层不同,池
幻风_huanfeng
·
2023-11-05 08:29
计算机视觉
计算机视觉
人工智能
卷积神经网络
池化层
反向传播
基于神经网络的图像识别,人工神经网络图像识别
尤其是基于误差
反向传播
(ErrorBackPropagation)算法的多层前馈网络(Multiple-La
「已注销」
·
2023-11-05 07:33
神经网络
人工智能
深度学习
【深度学习基础】Pytorch框架CV开发(1)基础铺垫
原创文,转载请注明出处文章目录简单介绍下PytorchPytorch基础张量创建张量tensor自动梯度线性回归逻辑回归人工神经网络感知机
反向传播
Pytorch中的基础数
嵌小超
·
2023-11-04 16:41
#
Deep
Learning
深度学习
pytorch
人工智能
PyTorch入门学习(十三):损失函数与
反向传播
本文将介绍如何在PyTorch中使用损失函数和
反向传播
来训练深度学习模型。接下来将详细解释提供的代码,并深入探讨交叉熵损失函数、均方误差损失函数以及它们在模型训练中的应用。
不吃花椒的兔酱
·
2023-11-04 15:11
PyTorch
pytorch
学习
深度学习
【CV面试】简述CNN、计算机视觉、人脸识别
将大数据量的图片降维成小数据量1.2.保留图片特征,符合图片处理的原则2.CNN的思想来源3.基本原理3.1.卷积层:提取特征3.2.池化层:下采样、降维、避免过拟合3.3.全连接层:输出结果4.结构5.梯度的求法和
反向传播
过程
褚骏逸
·
2023-11-03 15:35
#
deep_learning
卷积
人脸识别
算法
计算机视觉
坚持记录博客NO:1------------------>论文笔记:深度学习
答:BP算法是人工神经网络的
反向传播
算法(BackPropgation)利用B
红心柚大果
·
2023-11-03 02:14
笔记
机器学习
深度学习
《Pytorch新手入门》第二节-动手搭建神经网络
《Pytorch新手入门》第二节-动手搭建神经网络一、神经网络介绍二、使用torch.nn搭建神经网络2.1定义网络2.2torch.autograd.Variable2.3损失函数与
反向传播
2.4优化器
半个女码农
·
2023-11-02 14:11
pytorch
深度学习
神经网络
pytorch
神经网络
人工智能
深度学习
python
卷积神经网络的
反向传播
1.DNN的
反向传播
首先回顾深度神经网络(DNN)的
反向传播
forward:LossFunction:backward:w的梯度:b的梯度:令:已知,推导上一层:2.CNN的前向传播2.1卷积层(1)单通道
zuomeng844
·
2023-11-01 23:59
递归神经网络RNN与长短期记忆网络LSTM
以E3为例,它的
反向传播
指向
weixin_30617737
·
2023-11-01 09:52
神经网络系统理论与实践,神经网络系统理论基础
20世纪50年代末,Rosenblatt提出了感知器模型,1982年,Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型,1986年,Rumelhart及LeCun等学者提出了多层感知器的
反向传播
算法等
ai智能网络
·
2023-11-01 04:05
神经网络
机器学习
人工智能
Pytorch机器学习——3 神经网络(八)
outline神经元与神经网络激活函数前向算法损失函数
反向传播
算法数据的准备PyTorch实例:单层神经网络实现3.5
反向传播
算法在传统的机器学习方法(比如逻辑回归)中,可以通过梯度下降来确定权重的调整
辘轳鹿鹿
·
2023-10-31 05:29
2021字节秋招算法岗面经——抖音推荐
2021字节秋招算法岗面经一面过(一个小时)讲实习实习的结果是如何评估的为什么用AUC,而不用别的AB测试时,为什么是基于用户划分,而不是基于司机划分最大池化的
反向传播
求导公式LSTM解决了什么问题通用的提高模型泛化能力的方法
姜呆
·
2023-10-31 05:03
面经
面试
Paddle模型搭建-从keras转换为Paddle
其实是高度封装的一个神经网络模块,优点就是可以很方便的进行开发,缺点就是很多情况下只能用现成的Layer去构建模型,比如我需要用神经网络去进行控制,那么在控制量和输出量两层中间,使用keras是很难实现误差的
反向传播
Shi_Technology
·
2023-10-30 18:15
CV
python
机器学习
深度神经网络的数学原理:基于超平面、半空间与线性区域的表示
概述以前的文章主要描述了神经网络,即多层感知机、全连接模型的运行原理,还是以实验为主,数学描述为辅的方式,这篇文章以纯数学的视角来描述神经网络的运行原理,主要以前馈过程为主(
反向传播
的动力学过程还是比较复杂
_pinnacle_
·
2023-10-30 12:47
PR
&
ML
神经网络
数学原理
超平面
半空间
线性区域
循环神经网络(RNN)
用数学公式可表达为:对于上图的循环神经网络,梯度
反向传播
的过程可表达为:在分别对和求导的过程中,与全连接神经网络不同的是:
Babyface Killer
·
2023-10-29 20:56
学习心得
神经网络
rnn
深度学习
【深度学习】吴恩达课程笔记(二)——浅层神经网络、深层神经网络
吴恩达课程笔记(一)——深度学习概论、神经网络基础吴恩达课程笔记——浅层神经网络、深层神经网络四、浅层神经网络1.双层神经网络表示2.双层神经网络的前向传播第一层前向传播第二层前向传播3.双层神经网络的
反向传播
参数梯度下降
反向传播
公式第二层
反向传播
推导
今天有没有吃饱饱
·
2023-10-29 16:00
深度学习
深度学习
笔记
神经网络
LSTM长短期记忆网络,GRU
LSTM和GRU的区别前言上一篇博文我们介绍了RNN循环神经网络,虽然神经网络在解决时序问题是有着不错的表现,但是也有一个非常严重的问题,就是当网络结构比较深的时候,RNN网络由于前后的关联性导致了其在
反向传播
的时候会出现梯度消失或者梯
I松风水月
·
2023-10-29 11:40
网络模型
机器学习
lstm
gru
rnn
RNN循环卷积神经网络
目录前言一.网络结构二.前向传播三.损失函数3.1.单个时间步的损失3.1整个序列的损失四.
反向传播
五.RNN的缺点前言为什么需要RNN网络?
I松风水月
·
2023-10-29 11:09
网络模型
rnn
cnn
人工智能
DL Homework 4
目录1整理一下理论收获1.1基础理论1.2应用到机器学习1.3参数学习1.4
反向传播
算法2.激活函数3.神经网络流程推导(包含正向传播和
反向传播
)4.数值计算-手动计算5.代码实现-numpy手推6.代码实现
熬夜患者
·
2023-10-29 10:54
DL
Homework
html
前端
反向传播
法(backpropagation)的基本原理
本文通过整理李宏毅老师的机器学习教程的内容,介绍神经网络中用于更新参数的
反向传播
法(backpropagation)的基本原理。
星海浮生
·
2023-10-28 04:50
机器学习
算法
简单线性回归模型(复习一下前向传播和
反向传播
)
案例1importtorchtorch.__version__x=torch.rand(3,4,requires_grad=True)xtensor([[0.9795,0.8240,0.6395,0.1617],[0.4833,0.4409,0.3758,0.7234],[0.9857,0.9663,0.5842,0.8751]],requires_grad=True)b=torch.rand(3
Che_Che_
·
2023-10-27 22:47
机器学习
线性回归
pytorch
算法
深度学习中的epoch, batch 和 iteration
名词定义epoch使用训练集的全部数据进行一次完整的训练,称为“一代训练”batch使用训练集中的一小部分样本对模型权重进行一次
反向传播
的参数更新,这样的一部分样本称为:“一批数据”iteration使用一个
Code_LiShi
·
2023-10-27 21:10
pytorch
深度学习
batch
人工智能
神经网络算法
b为:门槛所谓threshold)
反向传播
(backpropagation)是在这种场景下快速求解∂C/∂w、∂C/∂b的算法,用了这个算法的多层感知机--也就是这篇文章讲的神经网络--也就叫作BP神经网络
_清净心_
·
2023-10-26 23:00
BN层总结与实际作用
层的目的深度学习的一个重要假设是独立同分布假设(IID),这个假设不仅适用于训练集和测试集,也适用于同一网络的不同层之间,即假设每一层的输入在经过与权重相乘和非线性激活后,输出(即下一层的输入)与输入依然IID,这样在
反向传播
时各层的梯度都会在一个合理的区间内
qq184861643
·
2023-10-26 07:32
#
deep-learning
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他