激活函数

[CUDA手搓]从零开始用C++ CUDA搭建一个卷积神经网络(LeNet)，了解神经网络各个层背后算法原理

pth格式导出训练结果，以方便后期调试2.4C++CUDA要做的事三、C++CUDA具体实现3.1新建.cu文件并填好框架3.2C++实现各网络层3.0CUDA编程核心思路3.1卷积层Conv13.2激活函数
Bartender_Jill·2024-02-08 14:09

PyTorch 2.2 中文官方教程（十二）

例如，您可能想使用在论文中找到的新型激活函数，或者实现您作为研究的一部分
绝不原创的飞龙·2024-02-08 10:55

Python绘制神经网络中常见激活函数的图形

前言需要绘制的激活函数有sigmoid，tanh，ReLU，softplus，swish共5个函数。
水木的编程那些事儿·2024-02-08 06:14

神经网络激活函数以及各自优缺点

1.什么是激活函数？所谓激活函数（ActivationFunction），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
lixinpeng16·2024-02-08 06:09

神经网络激活函数的选择

激活函数（Activationfunctions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。
Peyzhang·2024-02-08 06:37

神经网络 | 常见的激活函数

本文主要介绍神经网络中必要的激活函数的定义、分类、作用以及常见的激活函数的功能。
半亩花海·2024-02-08 06:34

2、卷积和ReLU激活函数

python了解集合网络如何创建具有卷积层的特性。文章目录简介特征提取(FeatureExtraction)卷积过滤(FilterwithConvolution)Weights(权重)激活（Activations）用ReLU检测示例-应用卷积和ReLU结论In[1]:importnumpyasnpfromitertoolsimportproductdefshow_kernel(kernel,lab
AI算法蒋同学·2024-02-08 06:51

【前沿技术杂谈：深度学习新纪元】探索人工智能领域的革命性进展

【前沿技术杂谈：深度学习新纪元】探索人工智能领域的革命性进展深度学习的进展深度学习的基本原理和算法深度学习的历史发展神经网络的基本构成神经元层次结构激活函数关键技术和算法反向传播算法卷积神经网络（CNN
jcfszxc·2024-02-08 02:48

06-20201012 感知机-1从感知机到神经网络

通过一系列资料学习，感知机最大的贡献还是提供了在链接主义的智能计算中的一种求解思路（智能计算的三大流派之一），加之后来的非线性激活函数与反向传播，渐渐发展到现在的深度学习。从概念上，感知机可以认为
野山羊骑士·2024-02-07 17:24

Pytorch的主要模块

Pytorch的主要模块PyTorch主要包括以下16个模块：1．torch模块torch模块本身包含了PyTorch经常使用的一些激活函数，比如Sigmoid（torch.sigmoid）、ReLU（
蒲建建·2024-02-07 15:28

计算机设计大赛 深度学习+python+opencv实现动物识别 - 图像识别

文章目录0前言1课题背景2实现效果3卷积神经网络3.1卷积层3.2池化层3.3激活函数：3.4全连接层3.5使用tensorflow中keras模块实现卷积神经网络4inception_v3网络5最后0
iuerfee·2024-02-07 09:20

Autoencoder 有什么用？

如果在做autoencoder的时候激活函数为linear的话，那么这就相当于在做PCA了。
脏小明·2024-02-06 15:16

【MATLAB】交叉验证求光滑因子的广义神经网络回归预测算法

每个神经元都有权重和偏差，通过激活函数对输入进行非线性变换并输出结果。模型的目标是通过学习训练数据的特征来拟合输
Lwcah·2024-02-06 09:57

计算机设计大赛 深度学习+opencv+python实现车道线检测 - 自动驾驶

文章目录0前言1课题背景2实现效果3卷积神经网络3.1卷积层3.2池化层3.3激活函数：3.4全连接层3.5使用tensorflow中keras模块实现卷积神经网络4YOLOV56数据集处理7模型训练8
iuerfee·2024-02-06 09:19

计算机设计大赛 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

文章目录0前言1课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2
iuerfee·2024-02-06 09:17

深度学习入门笔记（五）前馈网络与反向传播

5.1前馈网络一个最简单的前馈神经网络如图所示，对于每一个隐藏层，输入对应前一层每一个节点权重乘以节点输出值，输出则是经过激活函数（例如sigmoid函数）计算后的值。
zhanghui_cuc·2024-02-06 01:25

LLaMA 模型中的Transformer架构变化

目录1.前置层归一化（Pre-normalization）2.RMSNorm归一化函数3.SwiGLU激活函数4.旋转位置嵌入（RoPE）5.注意力机制优化6.GroupQueryAttention7.
samoyan·2024-02-05 13:57

Pytorch机器学习——3 神经网络（五）

outline神经元与神经网络激活函数前向算法损失函数反向传播算法数据的准备PyTorch实例：单层神经网络实现3.3前向算法当我们使用前馈神经网络接受输入x并产生输出时，信息通过网络向前流动。
辘轳鹿鹿·2024-02-05 08:45

批量归一化和残差网络

1.1不同网络的BN层1.1.1全连接层的BN放在全连接层中的仿射变换和激活函数之间，引入的可学习的参数：拉伸参数γ和偏移参数β，允许学习后使得批量归一化无效
英文名字叫dawntown·2024-02-05 08:20

【自然语言处理】P4 神经网络基础 - 激活函数

目录激活函数SigmoidTanhReLUSoftmax本节博文介绍四大激活函数，Sigmoid、Tanh、ReLU、Softmax。激活函数为什么深度学习需要激活函数？
脚踏实地的大梦想家·2024-02-05 05:07

深度学习入门（鱼书）

3.1.2复习感知机3.1.3激活函数登场刚才登场的h（x）函数会将输
weixin_42963026·2024-02-05 05:56

深度学习入门笔记（6）—— Logistic Regression

对比第三节中的Adaline和LogisticRegression，可以发现它们只有两点不同：1、激活函数，Adaline中的激活函数是恒等函数（线性），而LogisticRegression中的激活函数是
cnhwl·2024-02-05 05:55

《深度学习入门》学习笔记

原书：《深度学习入门：基于Python的理论与实现》文章目录前言第一章python入门列表字典类numpy广播第二章感知机第三章神经网络激活函数第四章神经网络的学习损失函数求梯度第五章误差反向传播法第六章与学习相关的技巧
YY_oot·2024-02-05 05:55

深度学习入门笔记（二）神经元的结构

激活函数：一般都会有，根据实际问题也是可以省略的。输出。2.2激活函数激活函数有很多种，不同的激活函数适用于不同的问题。二分类问题我们一般采用Sigmoid函数，多分类问题我们采用Softmax函
zhanghui_cuc·2024-02-04 16:30

01神经网络的理论及实现

图1-1感知机模型引入新函数(激活函数）：(1-1)将感知机表达式改为：(1-2)也可以分开写为：(1-3)(1-4)根据公式（1-3）和（1-4）可以将图1-1更改为图1-2模型。
我闻 如是·2024-02-04 12:02

深度学习的进展

深度学习的进展深度学习的进展包括但不限于以下几个方面：1.算法和模型的改进：随着研究的不断深入，深度学习算法和模型不断得到改进和优化，例如更有效的神经网络结构、新的激活函数、更好的优化算法等。
番茄不是西红柿1·2024-02-04 08:20

人工智能深度学习发展历程-纪年录

1847SGD随机梯度下降1995SVM支持向量机1982RNN循环神经网络，序列模型1986反向传播1997LSTM长短期时间记忆1998Lenet-5首次应用于手写识别2001随机森林2010ReLUrelu激活函数
犟小孩·2024-02-03 19:37

pix2pix图像着色学习记录（pytorch实现）

binary_crossentropy）二分类交叉熵损失函数，用于图片多标签分类，n张图片分m类，会得到n*m的矩阵，经过sigmoid把矩阵数值变换到0~1，然后通过如下公式计算得到：不同分类问题用到的激活函数和损失函数有所不同
欧拉雅卡·2024-02-03 19:17

计算机设计大赛 深度学习 python opencv 实现人脸年龄性别识别

文章目录0前言1项目课题介绍2关键技术2.1卷积神经网络2.2卷积层2.3池化层2.4激活函数：2.5全连接层3使用tensorflow中keras模块实现卷积神经网络4Keras介绍4.1Keras深度学习模型
iuerfee·2024-02-03 16:03

计算机设计大赛 深度学习 python opencv 火焰检测识别

文章目录0前言1基于YOLO的火焰检测与识别2课题背景3卷积神经网络3.1卷积层3.2池化层3.3激活函数：3.4全连接层3.5使用tensorflow中keras模块实现卷积神经网络4YOLOV54.1
iuerfee·2024-02-03 16:31

解释SwiGLU激活函数

SwiGLU（SwitchedGatedLinearUnit）激活函数是一种用于神经网络的非线性激活函数。
andeyeluguo·2024-02-03 13:56

【机器学习300问】21、什么是激活函数？常见激活函数都有哪些？

在我写的上一篇文章中介绍了感知机（单个神经元）的构成，其中就谈到了神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出值。这也称为“神经元被激活”。如果想对神经网络是什么有更多了解的小伙伴可以去看看我上一篇文章，链接我发在下面啦！【机器学习300问】20、什么是神经网络？和深度学习什么关系？http://t.csdnimg.cn/47Sgq承接上文中谈到的“神经元被激活”，
小oo呆·2024-02-03 11:57

Deeplearning

NumpyDeepLearningBasic神经网络：algorithm1input1outputinput2input3input4algorithm2监督学习：1个x对应1个y；Sigmoid:激活函数
stoAir·2024-02-03 06:56

卷积神经网络

领域的文本分类、软件工程的数据挖掘中软件缺陷预测等问题上获得较优的效果卷积神经网络是一种层次模型，输入为元素数据：RGB图像，原始音频数据主要运算：1.卷积convonlution2.池化pooling3.非线性激活函数
冉然_7236·2024-02-02 19:15

【吴恩达深度学习】— 参数、超参数、正则化

比如算法中的learningrate（学习率）、iterations(梯度下降法循环的数量)、L（隐藏层数目）、（隐藏层单元数目）、choiceofactivationfunction（激活函数的选择）
Sunflow007·2024-02-02 13:58

深度学习Lecture 3 激活函数的选择(ReLu)、Softmax和多标签分类问题

一、ReLu、Leniaractivationfunction、Sigmoid激活函数Sigmoid（一般用于处理二分类问题的输出层）：也就是说，当输出是一个概率，这个概率拿来判断的结果只有0和1的时候才使用它
qq030928·2024-02-02 12:16

一文讲透神经网络的激活函数

为什么要激活函数？原理上来说，神经网络模型的训练过程其实就是拟合一个数据分布（x）可以映射到输出（y）的数学函数，即y=f(x)。
算法进阶·2024-02-02 11:43

神经网络激活函数到底是什么？

激活函数其实不是很难啦，归结一下就是大概这样几个分类，详情请参考【神经网络】大白话直观理解！
conch0329·2024-02-02 09:23

调整Activation Function参数对神经网络的影响

目录介绍：数据集：模型一（tanh）：模型二（relu）：模型三（sigmoid）：模型四（多层tanh）：模型五（多层relu）：介绍：ActivationFunction（激活函数）是一种非线性函数
取名真难.·2024-02-02 09:22

吴恩达机器学习笔记十二 Sigmoid激活函数的替代方案 激活函数的选择 为什么要使用激活函数

激活函数可以采用ReLU函数(rectifiedlinearunit)三个常用的激活函数使用线性激活函数也可以看作是没有激活函数。激活函数的选择输出层
爱学习的小仙女！·2024-02-02 08:52

计算机设计大赛 深度学习 python opencv 火焰检测识别 火灾检测

文章目录0前言1基于YOLO的火焰检测与识别2课题背景3卷积神经网络3.1卷积层3.2池化层3.3激活函数：3.4全连接层3.5使用tensorflow中keras模块实现卷积神经网络4YOLOV54.1
iuerfee·2024-02-02 07:17

Matlab：利用1D-CNN（一维卷积神经网络），分析高光谱曲线数据或时序数据

激活函数：
foddcusL·2024-02-02 06:59

深度学习：人工智能的新篇章

第一部分：深度学习的基本原理深度学习的核心是人工神经网络，它由多个神经元层组成，每一层的神经元通过学习权重和激活函数的方式，将输入数据转化
GIS遥感数据处理应用·2024-02-02 00:07

【深度学习】全连接神经网络

单元结构单元结构的数学公式：a=h(wx+b)a=h(wx+b)a=h(wx+b)h(x)：激活函数比如sigmoid就是激活函数之一隐藏层大多需要激活函数激活函数激活函数概述激活函数是非线性的函数（图像不是直线的
wmh1024·2024-02-01 22:13

深度学习的进展

（2）神经网络基本结构2、激活函数的作用和选择（1）什么是激活函数？
ღ᭄陽先生꧔ꦿ᭄·2024-02-01 21:07

resNet

网络结构网络结构亮点1.网络结构突破1000层，但BN成功避免了梯度消失或梯度爆炸的问题（丢弃了droupout）梯度消失/爆炸：a=g(w*x+b)，对于激活函数sigmoid，若每一层w>E，则最终
哇哇哇哇池·2024-02-01 08:40

计算机设计大赛 深度学习 python opencv 动物识别与检测

文章目录0前言1深度学习实现动物识别与检测2卷积神经网络2.1卷积层2.2池化层2.3激活函数2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络3YOLOV53.1网络架构图3.2
iuerfee·2024-02-01 07:59

tf2.0学习（三）——神经网络

3.1全连接层全连接是有感知机发展起来的，由于感知机模型使用的是介跃激活函数，他是不连续不可导的，这严重制约了该模型的潜力。
雪糕遇上夏天·2024-01-31 15:48

激活函数

——激活函数是为了增加整个网络的非线性能力（如果只能表达线性映射，即使有再多的隐藏层，整个网络和单层神经网络也是等价的），即表达能力和抽象能力，接在Batch-normalisation之后，即输入(-
Mr_Stark的小提莫·2024-01-31 07:22

面向ChatGPT学AI?

1.一些深度学习的问题2.问题和答案3.使用ChatGPT后的感觉1.一些深度学习的问题使用python和pytorch写Alexnet神经网络神经网络中使用激活函数的作用是什么？
fVector·2024-01-31 06:54
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他