激活函数第8页

FCN全卷积网络Fully Convolutional Networks

如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层和卷积层可实现相互转换。参数冗余。

踩坑第某人·2024-01-18 10:24

【深度学习入门】深度学习基础概念与原理

（2）神经网络基本结构2、激活函数的作用和选择（1）什么是激活函数？（2）激活函数的作用与选择3、损失函数的定义和选择（1）什么是损失函数（2）损失函数的选择4、

代码骑士·2024-01-18 07:38

深度学习入门基于Python的理论与实现（第3章神经网络）

“朴素感知机”是指单层网络，指的是激活函数使用了阶跃函数的模型。“多层感知机”是指神经网络，即使用sigmoid函数等平滑的激活函数的多层网络。

无思不晓·2024-01-17 12:16

深度学习基本概念

定义一个深度学习模型，通常需要解决3个问题：1）激活函数，也就是先对于输入神经元的激活值。一般的有log

不存在的里皮·2024-01-16 22:38

【Python】Sigmoid和Hard Sigmoid激活函数对比总结及示例

Sigmoid和HardSigmoid是两种常用的激活函数，它们在神经网络中起到非线性变换的作用。

木彳·2024-01-16 06:01

吴恩达深度学习学习笔记-7建立神经网络

例如，有多少层网络每层含有多少个隐藏单元学习率各层采用哪些激活函数…这些决策无法一次决定好，通常在项目启动时，我们会先有一个初步想法，然后编码，并尝试运行这些代码，再根据结果完善自己的想法，改变策略。

猪猪2000·2024-01-16 02:03

吴恩达深度学习--神经网络的优化(1)

激活函数的选择等等。实际上很难第一次就确定好这些参数，大致过程是：先确定初始参数，构建神经网络模型，然后通过代码实现该模型，之后进行试验确定模型的性能。

Kangrant·2024-01-16 02:30

sigmoid函数求导、求极值（史上最详细）

在机器学习、深度学习中，激活函数有时会使用到Sigmoid函数。

TFATS·2024-01-15 17:26

感知器学习算法和Adaline规则

为了解决感知器的线性可分问题，在20世纪80年代多层感知器（MLP）被引入，通过在感知器之间增加多个层次和非线性激活函数，这为神经

Algorithm_Engineer_·2024-01-15 16:08

深度学习笔记（六）——网络优化（2）：参数更新优化器SGD、SGDM、AdaGrad、RMSProp、Adam

并且了解了激活函数和损失函数在神经网络中发挥的重要用途，其中，激活函数优化了神经元的输出能力，损失函数优化了反向传播时参数更新的趋势。我们知道在简单的反

絮沫·2024-01-15 10:49

机器学习 | 卷积神经网络

实验工作还需要对激活函数的选择、

rookiexiong·2024-01-15 08:23

PyTorch中的nn.LeakyReLU()、nn.Module和nn.ModuleList

一.nn.LeakyReLU()函数在PyTorch中，nn.LeakyReLU()是一个激活函数，用于引入非线性性到神经网络中。

NLP工程化·2024-01-15 07:59

感知机（二分类模型）

σ(x)为激活函数，每个激活层都要有一个激活函数，但是激活函数不能是线性函数。2.感知机训练：如果预测值错误，对权重和偏移量进行更新后重新执行，直到所有数据分类正确才结束训练。

姓蔡小朋友·2024-01-15 07:49

大数据深度学习ResNet深度残差网络详解：网络结构解读与PyTorch实现教程

激活函数初始化方法网络深度如何解决梯度消失问题三、残差块（ResidualBlocks）基础残差块的核心思想结构组成残差块

星川皆无恙·2024-01-15 06:14

自然语言处理学习笔记（通俗白话）

4，最小二乘法的一点见解5，卷积网络发展激活函数卷积神经网络：空洞卷积RNNLSTM（长的_短期记忆网络）考点总结：1，TransformerTransformer经典模型：简单理解编码器(Encoding

小威程序员·2024-01-14 22:13

[学习笔记]刘知远团队大模型技术与交叉应用L2-Neural Network Basics

由参数w、b以及激活函数f来构成。单层神经网络多个单个神经元组成单层神经网络。矩阵表示多层

N刻后告诉你·2024-01-14 21:47

PyTorch项目源码学习（3）——Module类初步学习

一般来说，计算图上所有的子图都可以是Module的子类，包括卷积，激活函数，损失函数节点以及相邻节点组成的集合等等，注意这里的关键词是“节点”，Module族类在计算图中主要起到搭建结构的作用，而不涉及运算逻辑的具体实现

_int_me·2024-01-14 20:10

深度学习面试题

（2）梯度消失、梯度爆炸梯度消失：这本质上是由于激活函数的选择导致的，最简单的sigmoid函数为例，在函数的两端梯度求导结果非常小

AI信仰者·2024-01-14 17:35

大数据深度学习卷积神经网络CNN：CNN结构、训练与优化一文全解

卷积神经网络概述二、卷积神经网络层介绍2.1卷积操作卷积核与特征映射卷积核大小多通道卷积步长与填充步长填充空洞卷积（DilatedConvolution）分组卷积（GroupedConvolution）2.2激活函数

星川皆无恙·2024-01-14 13:55

神经网络的三个特征，和卷积和最大池化有什么联系

神经网络的三个特征是层次结构、权重共享和非线性激活函数。层次结构：神经网络由多个层组成，包括输入层、隐藏层和输出层。

爱打网球的小哥哥一枚吖·2024-01-14 09:34

全连接网络

可表述为：其中，非线性函数f是激活函数，加入激活函数，使得模型可以处理非线性问题，常用激活函数包括sigmoid函数；tanh函数和relu函数。（tanh函

Miss_Bueno·2024-01-14 09:36

第五章神经网络

理想中的激活函数是图5.2(a)所示的阶跃函数，它将输入值映射为

lammmya·2024-01-14 05:12

神经网络——ReLU和线性层

目录ReLU线性层实践部分ReLUReLU（RectifiedLinearUnit）是一种激活函数，称为非线性激活，常用于卷积神经网络（CNN）中的隐藏层，能够很好地提取数据的非线性特征。

睡不醒的毛毛虫·2024-01-14 02:44

深度学习笔记（五）——网络优化（1）：学习率自调整、激活函数、损失函数、正则化

文中程序以Tensorflow-2.6.0为例部分概念包含笔者个人理解，如有遗漏或错误，欢迎评论或私信指正。截图和程序部分引用自北京大学机器学习公开课通过学习已经掌握了主要的基础函数之后具备了搭建一个网络并使其正常运行的能力，那下一步我们还需要进一步对网络中的重要节点进行优化并加深认知。首先我们知道NN（自然神经）网络算法能够相比传统建模类算法发挥更好效果的原因是网络对复杂非线性函数的拟合效果更好

絮沫·2024-01-14 00:34

池化、线性、激活函数层

一、池化层池化运算是深度学习中常用的一种操作，它可以对输入的特征图进行降采样，从而减少特征图的尺寸和参数数量。池化运算的主要目的是通过“收集”和“总结”输入特征图的信息来提取出主要特征，并且减少对细节的敏感性。在池化运算中，通常有两种常见的操作：最大池化和平均池化。最大池化（MaxPooling）是指在池化窗口内选择最大值作为输出的操作。它可以帮助提取输入特征图中的最显著特征，同时减少了特征图的尺

-恰饭第一名-·2024-01-13 23:46

权值初始化

这通常发生在深层网络中，特别是使用某些激活函数（如sigmoid函数）时。当梯度消失发生时，较浅层的权重更新较大，而较深层的权重更新较小，使得深层网络的训练变得困难。

-恰饭第一名-·2024-01-13 23:11

自然语言处理持续更新

RNN中为什么要采用tanh而不是ReLu作为激活函数？RNN和CNN对比，RNN对文本的时间序列的优点。LSTMLSTM基本原理LSTM怎么能解决梯度消失问题？LSTM用来解决RNN的什么问题？

搬砖成就梦想·2024-01-13 21:35

基于遗传算法改进BP神经网络的承载力预测，基于ga-bp的破坏模式预测

目录BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数遗传算法原理遗传算法主要参数遗传算法流程图完整代码包含数据下载链接：基于遗传算法改进

神经网络机器学习智能算法画图绘图·2024-01-13 20:43

深度学习入门之2--神经网络

目录1神经网络初解2激活函数及实现2.1初识激活函数2.1激活函数类型及实现2.1.1阶跃函数及实现2.1.2sigmoid函数及实现2.1.3Relu函数及实现2.1.4恒等函数和softmax函数及实现

梦灯·2024-01-13 13:06

用通俗易懂的方式讲解：一文讲透主流大语言模型的技术原理细节

大家好，今天的文章分享三个方面的内容：1、比较LLaMA、ChatGLM、Falcon等大语言模型的细节：tokenizer、位置编码、LayerNormalization、激活函数等。

机器学习社区·2024-01-13 02:47

感知机、多层感知机、激活函数sigmoid

激活函数sigmoid激活函数Tanh激活函数为什

你若盛开，清风自来！·2024-01-12 21:07

BP神经网络（公式推导+举例应用）

文章目录引言M-P神经元模型激活函数多层前馈神经网络误差逆传播算法缓解过拟合化结论实验分析引言人工神经网络（ArtificialNeuralNetworks，ANNs）作为一种模拟生物神经系统的计算模型

Nie同学·2024-01-12 14:00

一文带你深度了解ReLU激活函数！

花了29980买的从入门到精通课程，分享给大家在神经网络中，激活函数负责将来自节点的加权输入转换为该输入的节点或输出的激活。ReLU是一个分段线性函数，如果输入为正，它将直接输出，否则，它将输出为零。

狂徒_张三·2024-01-12 13:18

【pytorch】使用pytorch构建线性回归模型-了解计算图和自动梯度

每个节点代表一个操作，例如加法、乘法或激活函数，而边则代表这些操作之间的数据流动。计算图的主要优点是可以自动进行微分计算。当你在计算图上调用.backward()方法时，PyTo

精英的英·2024-01-12 08:49

机器学习激活函数

激活函数激活函数是人工神经网络中的一个重要组成部分。它们用于向神经网络中添加非线性因素，使得网络能够解决复杂问题，如图像识别、语言处理等。

Persistence is gold·2024-01-12 06:54

【22-23 春学期】AI作业5-深度学习基础

人工智能、机器学习、深度学习之间的关系神经网络与深度学习的关系“深度学习”和“传统浅层学习”的区别和联系神经元、人工神经元MP模型单层感知机SLP异或问题XOR多层感知机MLP前馈神经网络FNN激活函数

HBU_David·2024-01-12 00:23

深度学习常考简答题--[HBU]期末复习

目录1.为什么要引用非线性激活函数？2.什么是超参数？如何优化超参数？3.线性回归通常使用平方损失函数，能否使用交叉熵损失函数？4.平方损失函数为何不适用于解决分类问题？

洛杉矶县牛肉板面·2024-01-12 00:22

智能芯片与系统基础知识（AI芯片）

权重–突触，偏置–阈值，激活函数–神经元2.AI芯片的种类有哪些CPUGPUFPGAASIC

youngbarry·2024-01-11 16:32

使用 PyTorch 和 OpenCV 实现简单卷积神经网络（CNN）的过程

使用PyTorch和OpenCV实现简单卷积神经网络（CNN）的过程，如何构建一个简单的卷积神经网络模型，并通过使用预定义的滤波器对灰度图像进行卷积操作和激活函数处理，最终可视化了卷积层和激活层的输出结果

不做梵高417·2024-01-11 10:02

神经网络中的激活函数sigmoid tanh ReLU softmax函数

神经网络中的激活函数sigmoidtanhReLUsoftmax函数人工神经元简称神经元，是构成神经网络的基本单元，其中主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。

oceancoco·2024-01-11 08:56

激活函数整理

sigmoid函数importtorchfromd2limporttorchasd2l%matplotlibinlinex=torch.arange(-10,10,0.1,requires_grad=True)sigmoid=torch.nn.Sigmoid()y=sigmoid(x)d2l.plot(x.detach(),y.detach(),'x','sigmoid(x)',figsize

惊雲浅谈天·2024-01-11 08:13

LeNet-5(fashion-mnist)

LeNetLeNet-5由以下两个部分组成卷积编码器（2）全连接层（3）卷积块由一个卷积层、一个sigmoid激活函数和一个平均汇聚层组成。第一个卷积层有6个输出通道，第二个卷积层有16个输出通道。

Kevin_D98·2024-01-11 08:42

YOLOv8优化策略：轻量化改进 | MobileNetV3，轻量级骨架首选

本文改进：MobileNetV3的创新点包括：使用自适应瓶颈宽度、借鉴SENet中的Squeeze-and-Excitation机制、引入h-swish激活函数等。

会AI的学姐·2024-01-11 08:38

YOLOv8-Seg改进：轻量化改进 | MobileNetV3，轻量级骨架首选

本文改进：MobileNetV3的创新点包括：使用自适应瓶颈宽度、借鉴SENet中的Squeeze-and-Excitation机制、引入h-swish激活函数等。

会AI的学姐·2024-01-11 08:38

对数几率回归

对于一个线性回归的模型我们一般都会定义为为了做一个二分类的估计我们可以做一个概率的判断单位阶跃函数但是单位阶跃函数是不连续的，难以求导，所以用对数几率函数替代此函数最为一个激活函数在二分类的问题上简直是完美

LoveToday2020·2024-01-11 02:11

掌握深度学习的残差之道——Resnet残差网络

我们聚焦于神经网络局部：如图所示，假设我们的原始输入为x，而希望学出的理想映射为f(x)（作为图上方激活函数的输入）。

kay_545·2024-01-10 21:12

大创项目推荐深度学习手势识别 - yolo python opencv cnn 机器视觉

文章目录0前言1课题背景2卷积神经网络2.1卷积层2.2池化层2.3激活函数2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络3YOLOV53.1网络架构图3.2输入端3.3基准网络

laafeer·2024-01-10 18:10

李沐之数值稳定性+模型初始化和激活函数

目录1.数值稳定性1.1梯度爆炸1.2梯度消失2.模型初始化和激活函数2.1让训练更加稳定3.补充一点导数知识：1.数值稳定性层记为t,这里的y不是预测，还包括了损失函数，y是优化函数，不是预测的结果y

sendmeasong_ying·2024-01-10 06:54

softmax详解

在神经网络中，Softmax是一个用于多类别分类的激活函数。给定一个包含原始分数（未经处理的模型输出）的向量，Softmax将这些分数转化为表示概率分布的向量。

天一生水water·2024-01-10 00:06

【YOLO系列】 YOLOv4之Mish函数

一、简述一个新的stateoftheart的激活函数，ReLU的继任者。

江湖小张·2024-01-09 17:57

推荐频道

激活函数