激活函数第3页

【论文精读(GELUS)】GAUSSIAN ERROR LINEAR UNITS (GELUS)

GELU：让计算机视觉、NLP、语音任务性能飙升的激活函数本文探讨的高斯误差线性单元（GaussianErrorLinearUnit，GELU）是由DanHendrycks和KevinGimpel提出的一种高性能神经网络激活函数

Open NLP·2025-04-17 08:27

从零实现DCGAN：生成二次元动漫头像

DCGAN（DeepConvolutionalGAN）是GAN的改进版本，其核心创新包括：使用卷积层替代全连接层引入批量归一化（BatchNorm）LeakyReLU激活函数防止梯度消失损失函数数学表达

Evaporator Core·2025-04-12 11:47

Pytorch神经网络工具箱

②适用于激活函数、池化层。构建神经网络的主要工具-nn.Module构建神经网络的主要工具-nn.functiona

sho_re·2025-04-10 22:42

多层感知机（MLP）——深度学习

1.感知机1.1什么是感知机感知机是一种最简单的人工神经网络模型，它模拟了生物神经元的工作原理，基本结构是单个神经元，接收多个输入信号，将每个输入乘以对应的权重，求和后加上偏置，再经过一个激活函数处理输出结果

搬砖的阿wei·2025-04-10 04:15

【大模型知识点】SwiGLU激活函数

SwiGLU（Swish-GatedLinearUnit）是一种结合了Swish激活函数和GLU（GatedLinearUnit）机制的激活函数，广泛应用于现代大型语言模型（LLM）中，尤其是在Transformer

自信的小螺丝钉·2025-04-06 11:08

神经网络能不能完全拟合y=x² ？？？

先说结论：关键看激活函数的选择ReLU神经网络对非线性函数的拟合分析ReLU神经网络对非线性函数（如y=x2y=x^2y=x2）的拟合只能是逼近，而无法实现数学意义上的完全重合。

frostmelody·2025-04-04 14:09

2.25 深度学习模型构建全解：从nn.Module到RetNet18

使用nn.Sequential模型容器2.使用nn.ModuleList模型容器3.使用nn.ModuleDict模型容器自定义网络模块：·残差块有两种，一种是正常的模块方式，将输入与输出相加，然后应用激活函数

不要天天开心·2025-04-03 19:32

线性层（全连接层）pytorch

**前置知识：1、线性层和非线性激活函数：组合使用：通常，线性层后面会接一个非线性激活函数。这样，网络先做一次简单的转换（线性），然后用激活函数（非线性）添加一些复杂性。

橙意满满的西瓜大侠·2025-04-03 17:49

Pytorch中torch.nn.functional模块介绍

1、torch.nn.functional模块介绍1.1模块功能概述torch.nn.functional是PyTorch的核心模块之一，提供函数式接口实现神经网络操作，涵盖以下功能：激活函数：如ReLU

小白的高手之路·2025-04-03 02:44

深度学习篇---网络结构

残差块（ResidualBlock）类二、卷积神经网络（CNNModule）类三、具体计算过程3.1第一个卷积模块3.1.1卷积层self.conv13.1.2批量归一化层self.norm13.1.3激活函数层

Ronin-Lotus·2025-04-02 21:42

机器学习中的数学——激活函数（一）：Sigmoid函数

一杯咖啡*_*·2025-04-02 08:09

神经网络检测题

激活函数为什么神经网络需要激活函数？列举3种常见的激活函数及其优缺点。损失函数分类任务和回归任务常用的损失函数分别是什么？写出它们的数学形式。

豆芽819·2025-04-02 06:00

多层感知机（MLP）全面指南

MLP中的神经元通常使用非线性激活函数，使得网络能够学习数据中的复杂模式。MLP在机器学习中非常重要，因为它能够学习数据中的非线性关系，使其成为分类、回归和模式识别等任务中的强大模型。

MobiCetus·2025-03-31 08:23

吴恩达深度学习复盘（1）神经网络与深度学习的发展

生物神经元的简化模型人工神经网络采用数学模型简化生物神经元的行为：每个神经元接收输入（数字信号），通过加权求和与激活函数处理后输出。尽管这一模型远不及真实大脑复杂，但早期研究认为其可能复现智能行为。二

wgc2k·2025-03-29 14:13

【人工智能】卷积神经网络(Convolutional Neural Network)

ConvolutionalNeuralNetwork)卷积神经网络|CNN，ConvolutionalNeuralNetworks.1.卷积操作(ConvolutionOperation):2.池化操作(PoolingOperation):3.激活函数

AI天才研究院·2025-03-28 22:14

【人工智能】图文详解深度学习中的卷积神经网络（CNN）

卷积神经网络简介卷积神经网络的数学公式池化操作：全连接层：激活函数卷积神经网络的C++实现示例代码应用场景自动驾驶影像物体识别医疗影像诊断附：计算机视觉中几种经典的网络结构概念和原理为什么要使用卷积神经网络

AI天才研究院·2025-03-27 19:05

《Python实战进阶》第32集：使用 TensorFlow 构建神经网络

本集将带领您学习如何使用TensorFlow构建简单的神经网络，并深入理解其核心概念（如张量、计算图）以及神经网络的基本组件（如层、激活函数、损失函数）。

带娃的IT创业者·2025-03-26 01:46

写给孩子和极客的趣味数学 --“自动驾驶背后的数学” 专栏导读

专栏链接：自动驾驶背后的数学一、专栏逻辑图谱深度学习进阶视觉感知与多传感器融合基础工具与决策流程10.激活函数解析6.视觉坐标变换体系7.视觉优化与融合8.全流程解析2.传感器数据到控制指令的函数嵌套1.10

赛卡·2025-03-25 12:11

ResNet改进(11)：添加 Squeeze-and-Excitation模块和替换Mish激活函数

1.SE模块和Mish激活函数SE模块是一种通道注意力机制，旨在增强网络对重要特征通道的关注，从而提升模型的表达能力。它通过显式地建模通道之间的依赖关系，动态调整每个通道的特征响应。

点我头像干啥·2025-03-24 15:58

Pytorch深度学习教程_9_nn模块构建神经网络

在前面的几篇中，我们已经介绍了Python、numpy及pytorch的基本使用，进行了梯度及神经网络的实践并学习了激活函数和激活函数，在上一个教程中我们学习了优化算法。

tRNA做科研·2025-03-24 06:08

深度学习与目标检测系列(三) 本文约(4万字) | 全面解读复现AlexNet | Pytorch |

前言翻译精读主要内容：本文主要贡献：2.TheDataset-数据集翻译精读主要内容：ImageNet简介：图像处理方法：3.TheArchitecture—网络结构3.1ReLUNonlinearity—非线性激活函数

小酒馆燃着灯·2025-03-22 10:03

关于神经网络中的激活函数

激活函数（ActivationFunction）详解理解首先煮波解释一下这四个字，“函数”相信大家都不陌生，能点进来看这篇文章说明你一定经历至少长达十年的数学的摧残，关于这个概念煮波就不巴巴了，煮波主要说一下

文弱_书生·2025-03-21 15:13

基于python的ansys_基于python的感知机

一、1、感知机可以描述为一个线性方程，用python的伪代码可表示为：sum(weight_i*x_i)+bias->activation#activation表示激活函数，x_i和weight_i是分别为与当前神经元连接的其它神经元的输入以及连接的权重

weixin_39687990·2025-03-19 23:08

部分激活函数可视化

importnumpyasnpimportmatplotlib.pyplotasplt#定义激活函数defsigmoid(x):return1/(1+np.exp(-x))deftanh(x):returnnp.tanh

Keyshal_Wei·2025-03-19 11:02

【深度学习基础】第二十四课：softmax函数的导数

2.softmax函数的导数假设神经网络输出层的激活函数为softmax函数，用以解决多分类问题。在反向传播时，就需要计算softmax函数的导数，这也就是本文着重介绍的内容。

x-jeff·2025-03-17 21:15

java实现卷积神经网络CNN（附带源码）

实现卷积神经网络（CNN）项目详解目录项目概述1.1项目背景与意义1.2什么是卷积神经网络（CNN）1.3卷积神经网络的应用场景相关知识与理论基础2.1神经网络与深度学习概述2.2卷积操作与卷积层原理2.3激活函数与池化层

Katie。·2025-03-17 07:38

神经网络完成训练的详细过程

神经元接收输入信号，通过加权求和和激活函数的处理，产生输出信号。这些输出信号又可以作为其他神经元的输入，从而形成一个复杂的网络结构。

每天五分钟玩转人工智能·2025-03-15 04:34

从Swish到SwiGLU：激活函数的进化与革命，qwen2.5应用的激活函数

swiGLU和RMSNorm1.什么是swiGLUSwiGLU（Swish-GatedLinearUnit）是一种结合了Swish激活函数和GLU（GatedLinearUnit）门控机制的激活函数，广泛应用于现代大型语言模型中

KangkangLoveNLP·2025-03-13 09:02

Simple Baselines for Image Restoration

为了进一步简化基线，我们揭示了非线性激活函数，如Sigmoid、ReLU、GELU、Softmax等是不必要的:它们可以用乘法替换或删除。因此，我们从基线推导出一个非线性激活自由网络，即NAFNet。

Adagrad·2025-03-12 15:58

动手学深度学习V2.0(Pytorch)——10.感知机（激活函数）

文章目录1.感知机2.多层感知机2.1异或问题2.2单隐藏层2.3激活函数2.3.1logistics函数/sigmoid激活函数2.3.2tanh函数2.3.3sigmoid函数和tanh函数的异同/

吨吨不打野·2025-03-11 21:08

卷积神经网络（笔记01）

视觉处理三大任务：分类、目标检测、图像分割CNN网络主要有三部分构成：卷积层（ConvolutionalLayer）、池化层（PoolingLayer）和激活函数一、解释卷积层中的偏置项是什么，并讨论在神经网络中引入偏置项的好处

天行者@·2025-03-11 18:14

【NLP 39、激活函数 ⑤ Swish激活函数】

我的孤独原本是座荒岛，直到你称成潮汐，原来爱是让个体失序的永恒运动——25.2.25Swish激活函数是一种近年来在深度学习中广泛应用的激活函数，由GoogleBrain团队在2017年提出。

L_cl·2025-03-11 14:44

Python第十六课：深度学习入门 | 神经网络解密

本节目标理解生物神经元与人工神经网络的映射关系掌握激活函数与损失函数的核心作用使用Keras构建手写数字识别模型可视化神经网络的训练过程掌握防止过拟合的基础策略一、神经网络基础（大脑的数字化仿生）1.神经元对比生物神经元人工神经元树突接收信号输入层接收特征数据细胞体整合信号加权求和

程之编·2025-03-11 09:03

基于PyTorch的深度学习——机器学习3

激活函数在神经网络中作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。在搭建神经网络时，如何选择激活函数？

Wis4e·2025-03-11 07:47

深度学习在SSVEP信号分类中的应用分析

目录前言1.SSVEP信号分类的处理流程2.模型输入和数据预处理3.模型结构设计3.1卷积神经网络（CNN）3.2长短期记忆网络（LSTM）4.训练方法与激活函数5.性能评估与挑战6.未来方向前言随着脑机接口

自由的晚风·2025-03-10 12:00

【ShuQiHere】解密诺奖得主：约翰·霍普菲尔德与人工神经网络的革命

【ShuQiHere】目录引言：跨界的传奇科学家诺贝尔奖的背后：人工神经网络的崛起约翰·霍普菲尔德的开创性工作神经网络的寒冬与突破霍普菲尔德网络的工作原理代码示例：实现霍普菲尔德网络激活函数的出现与神经网络的复兴杰弗里

ShuQiHere·2025-03-10 03:22

神经网络|(十四)|霍普菲尔德神经网络-Hebbian训练

【1】引言前序学习进程中，除了对基本的神经网络知识进行了学习，还掌握了SOM神经网络原理，文章链接包括且不限于：神经网络|(十一)|神经元和神经网络-CSDN博客神经网络|(十二)|常见激活函数-CSDN

西猫雷婶·2025-03-10 02:17

深度学习笔记——神经网络

模拟生物神经元，人工神经元有1个或者多个输入（模拟多个树突或者多个神经元向该神经元传递神经冲动）；对输入进行加权求和（模拟细胞体将神经信号进行积累和树突强度不同）；对输入之和使用激活函数计算活性值（模拟细胞体产生兴奋或者抑制

肆——·2025-03-08 16:10

深度学习的数学之魂：传统机器学习的超越者

深度学习的数学之魂：传统机器学习的超越者前言第一部分：神经元的数学语言1.1神经元模型的启示1.2激活函数的非线性魔法第二部分：网络结构的层次之美2.1网络结构的多样性2.2层次结构的力量第三部分：图像的力量与直观理解

洋葱蚯蚓·2025-03-07 13:39

Pytorch实现之LSRGAN，轻量化SRGAN超分辨率SAR

简介简介：在SRGAN的基础上设计了一个轻量化的SRGAN模型结构，通过DSConv+CA与残差结构的设计来减少参数量，同时利用SeLU激活函数构造。与多类SRGAN改进不同的是，很少使用BN层。

这张生成的图像能检测吗·2025-03-05 20:37

DiNN学习笔记1-理论部分

DiNN学习笔记1-理论部分背景知识机器学习即服务MLaaS中的全同态加密神经网络Fhe-DiNN中的默认设定Fhe-DiNN方案神经元中的计算离散神经网络DiNN评估步骤自举的引入激活函数的同态评估对

瓜皮37·2025-03-04 00:45

数学建模：MATLAB极限学习机解决回归问题

前向传播：输入数据通过已设定的权重和偏置传递给隐藏层，经过激活函数处理后产生隐藏层的输出。在得到隐藏层输出后，需找到从隐藏层到输出层的最佳权重。隐藏层到输出层的

DesolateGIS·2025-03-03 15:05

pytorch与深度学习随记——AlexNet

激活函数：AlexNet使用ReLU而不是sigmoid作为其激活函数，这有助于缓解梯度消失问题并加速训练过程。AlexNet架构的创新点局部响应归一化(LRN)：AlexNet引入LRN层，可以创建

黑色的山岗在沉睡·2025-03-02 08:46

建筑兔零基础人工智能自学记录34|深度学习与神经网络2

ANN结构为：输入层、隐藏层、输出层人工神经元：基于生物神经元的数学模型ANN过程：输入---加权求和---激活函数激活函数：类似生物神经元的阈值，达到阈值输出信号（‘神经网络的万能逼近定理’---两层以上神经网络可以逼近任意函数

阿克兔·2025-03-01 17:34

全过程带你从入门到精通《动手学PyTorch深度学习建模与应用》第二章：2.1-2.3节详解，篇幅超了，缺的后面再补吧

这一章的内容非常重要，因为它不仅涵盖了神经网络的基本原理，还介绍了激活函数、损失函数和优

环工人学Python·2025-03-01 15:53

机器幻觉产生的原因

所以如果只有线性层而没有非线性激活函数的话，网络将无法处理复杂任务。对于激活函数而言，常见的如ReLU、sigmoid、tanh。激活函数引入非线性，让网络有能力学习复杂的特征。但是如果没有合适的激活

人机与认知实验室·2025-03-01 06:11

深度学习进阶：构建多层神经网络

今天，我们将进一步深入，构建一个更复杂的多层神经网络，并引入更多高级概念，如多隐藏层、激活函数选择、正则化等。我们还会使用更复杂的分类任务来训练模型，并评估其性能。

孤寂大仙v·2025-02-28 12:37

【漫话机器学习系列】106.线性激活函数（Linear Activation Function）

1.什么是线性激活函数？线性激活函数是一种最简单的激活函数，数学表达式为：即输出与输入保持完全线性关系。这意味着对于任何输入值x，其输出将等于输入值本身，函数图像为一条通过原点的直线。

IT古董·2025-02-27 13:25

深度学习：从神经网络到智能应用

二.深度学习的基本原理1.神经网络的组成2.激活函数3.反向传播（Backpropagation）三.深度学习的常见模型四.深度学习的应用场景五.深度学习的挑战与未来结语引言深度学习（DeepLearning

Jason_Orton·2025-02-27 00:43

GPT-2源码实现及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析(二)

GPT-5内幕解析(二)Gavin大咖微信：NLP_Matrix_Space5.2GPT-2源码实现逐行解析本节讲解GPT-2源码，gpt2.py是一个使用NumPy实现的代码，在代码中实现了GELU激活函数

段智华·2025-02-25 09:35

推荐频道

激活函数