激活函数

YOLOv5激活函数替换与模型变体实验实战教程

YOLOv5激活函数替换与模型变体实验实战教程本教程面向已具备YOLOv5训练经验的开发者，系统讲解如何在YOLOv5中替换激活函数、构建模型变体，并结合本项目实际文件和命令，突出实用性和可操作性。
机 ＿ 长·2025-07-28 12:59

Class11数值稳定性

其中h指的就是隐藏层第层的输出是：其中，是第层的激活函数或线性变换等网络的最终输出：这里的ℓ是损失函数，也就是每一层的损失函数作用于原始的X。加上损失函数，神经网络才有一个标准，指导什么是好的结果。
Morning的呀·2025-07-24 06:21

Class14参数管理

importtorchfromtorchimportnn#定义2个线性层+1个ReLU激活函数net=nn.Sequential(nn.Linear(4,8),nn.ReLU(),nn.Linear(8,1
Morning的呀·2025-07-24 03:03

《从零构建大模型》系列（21）：从头实现GPT模型——构建文本生成引擎

2.2层归一化实现代码三、前馈神经网络实现3.1GPT中的前馈结构编辑3.2GELU激活函数3.3完整前馈网络实现四、Transformer
·2025-07-21 16:06

【DL经典回顾】激活函数大汇总（四）（Softmax & Softplus附代码和详细公式）

激活函数大汇总（四）（Softmax&Softplus附代码和详细公式）更多激活函数见激活函数大汇总列表一、引言欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。
夺命猪头·2025-07-21 05:16

神经网络常见激活函数 13-Softplus函数

文章目录Softplus函数+导函数函数和导函数图像优缺点PyTorch中的Softplus函数TensorFlow中的Softplus函数Softplus函数+导函数Softplus函数Softplus⁡(x)=ln⁡(1+e x)\begin{aligned}\operatorname{Softplus}(x)&=\ln\bigl(1+e^{\,x}\bigr)\end{aligned}Sof
亲持红叶·2025-07-21 05:42

神经网络：模拟人脑的 AI 信息处理系统

人工神经元接收多个输入信号，通过权重（模拟突触强度）加权求和，再经激活函数处理（模拟神经元“是否激活”），输出结果。例如
·2025-07-20 10:27

深度学习——CNN（3）

前言：前面介绍了最基本的Lenet，下面介绍几种其他的网络结构CNN-AlexNet网络结构如下图：从图中可以看出，采用双gpu训练增加LRN归一化层：本质上，这个层也是为了防止激活函数的饱和的。
飘涯·2025-07-19 14:23

LLaMA 学习笔记

目录LLaMA模型结构：模型微调手册：推理示例：指定位置加载模型测试ok：模型下载：llama-stack下载modelscope下载LLaMA优化技术RMSNormSwiGLU激活函数旋转位置编码（RoPE
AI算法网奇·2025-07-12 06:41

从0开始学习计算机视觉--Day08--卷积神经网络

之前我们提到，神经网络是通过全连接层对输入做降维处理，将输入的向量通过矩阵和激活函数进行降维，在神经元上输出激活值。而卷积神经网络中，用卷积层代替了全连接层。
·2025-07-09 01:12

一文读懂 Sigmoid 与 Hard Sigmoid 激活函数：从原理到量化部署

在神经网络训练与部署中，激活函数扮演着关键角色，不仅影响模型训练过程，也直接决定了模型部署到实际设备后的性能表现。
·2025-07-08 16:42

【PyTorch】PyTorch中torch.nn模块的卷积层

PyTorch中torch.nn模块的卷积层文章目录PyTorch深度学习总结前言一、torch.nn模块1.模块的基本组成部分1.1层（Layers）1.2损失函数（LossFunctions）1.3激活函数
·2025-07-08 12:18

什么是深度学习框架中的计算图？

操作：数学运算，如加法(+)、乘法(*)、矩阵乘法(matmul)、激活函数(ReLU,sigmoid)、卷积(conv2d)、损失函数(cross_entropy)等。变量：通常是张量，即存储数据
杰瑞学AI·2025-07-07 20:17

重生学AI第十五集：学习非线性激活函数

神经元就等同于人工神经网络中的基本计算单元，每一个网络层都包含着许多这样的神经元，激活函数就是为了能够判断输入是否达到“激活”标准，达到激活标准，则会影响后续计算，反之，
·2025-07-05 23:51

python打卡day41@浙大疏锦行

.batch归一化：调整一个批次的分布，常用与图像数据4.特征图：只有卷积操作输出的才叫特征图5.调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数
风逸hhh·2025-07-05 14:17

【第三章:神经网络原理详解与Pytorch入门】01.神经网络算法理论详解与实践-(4)神经网络中的重要组件

第三章:神经网络原理详解与Pytorch入门第一部分：神经网络算法理论详解与实践第四节：神经网络中的重要组件内容：激活函数、loss函数、dropout、梯度消失与爆炸、过拟合与欠拟合神经网络的性能依赖于多个关键组件的合理设计与使用
·2025-07-05 04:37

Llama改进之——SwiGLU激活函数

引言今天介绍LLAMA模型引入的关于激活函数的改进——SwiGLU1，该激活函数取得了不错的效果，得到了广泛地应用。SwiGLU是GLU的一种变体，其中包含了GLU和Swish激活函数。
愤怒的可乐·2025-07-04 01:36

深度学习学习经验——卷积神经网络（CNN）

卷积神经网络卷积神经网络（CNN）1.卷积神经网络的基本组成2.卷积操作3.激活函数（ReLU）4.池化操作5.全连接层6.卷积神经网络的完整实现项目示例项目目标1.加载数据2.卷积层：图像的特征探测器
Linductor·2025-07-03 07:02

深度学习中常见激活函数总结

以下是一份深度学习激活函数的系统总结，涵盖定义、类型、作用、应用及选择影响，便于你快速掌握核心知识：一、激活函数的定义在神经网络中，激活函数（ActivationFunction）是神经元计算输出的非线性变换函数
向左转,　向右走ˉ·2025-07-02 07:54

educoder机器学习 --- 神经网络

第1关：神经网络基本概念１、Ｃ第2关：激活函数#encoding=utf8defrelu(x):'''x:负无穷到正无穷的实数'''#*********Begin*********#ifx<=0:return0else
木右加木·2025-07-02 05:46

激活函数和批归一化（BatchNorm）

在神经网络中，激活函数和批归一化（BatchNorm）的配合使用是为了解决‌数据分布偏移‌和‌梯度不稳定‌问题。以下是逐步解释：1.激活函数为何导致值向上下限移动？‌
·2025-06-30 20:58

人工智能-基础篇-10-什么是卷积神经网络CNN（网格状数据处理：输入层，卷积层，激活函数，池化层，全连接层，输出层等）

卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种专为处理网格状数据（如图像、视频、音频）设计的深度学习模型。它通过模拟生物视觉机制，从原始数据中自动提取多层次的特征，最终实现高效的分类、检测或生成任务。1、核心概念与原理1、生物视觉启发局部感受野：模仿人类视觉皮层神经元仅响应局部区域刺激的特性，每个神经元关注输入数据的局部区域（如图像的一小块区域）。权值共享：同一
weisian151·2025-06-30 11:30

CNN-LSTM神经网络多输入单输出回归预测【MATLAB】

激活函数：通常使用ReLU（线性整流单元）激活函数，增加非线性。
沅_Yuan·2025-06-30 04:19

DAY 41 简单CNN

知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数
冬天给予的预感·2025-06-30 04:15

Python打卡训练营-Day41-简单CNN

浙大疏锦行知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数
traMpo1ine·2025-06-30 04:44

DAY 41 简单CNN

知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数
yizhimie37·2025-06-29 07:51

【机器学习实战】Datawhale夏令营2：深度学习回顾

深度学习的定义1.1深度学习＆图神经网络1.2机器学习和深度学习的关系2.深度学习的训练流程2.1数学基础2.1.1梯度下降法基本原理数学表达步骤学习率α梯度下降的变体2.1.2神经网络与矩阵网络结构表示前向传播激活函数反向传播批处理卷积操作参数更新优化算法正则化初始化
城主_全栈开发·2025-06-28 00:17

深入理解AI人工智能深度学习的原理架构

接着阐述了深度学习的核心概念，如神经网络、激活函数等，并通过示意图和流程图进行直观展示。详细讲解了核心算法原理，如反向传播算法，并给出Python代码示例。同时，介绍了深度学习中的数学
AI学长带你学AI·2025-06-27 06:41

Day41 Python打卡训练营

.batch归一化：调整一个批次的分布，常用与图像数据4.特征图：只有卷积操作输出的才叫特征图5.调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数
·2025-06-26 21:33

60天python训练营打卡day41

卷积神经网络定义的写法3.batch归一化：调整一个批次的分布，常用与图像数据4.特征图：只有卷积操作输出的才叫特征图5.调度器：直接修改基础学习率卷积操作常见流程如下：输入→卷积层→Batch归一化层（可选）→池化层→激活函数
tan90�=·2025-06-25 12:50

【动手学深度学习】4.2~4.3 多层感知机的实现

目录4.2.多层感知机的从零开始实现1）初始化模型参数2）激活函数3）模型4）损失函数5）训练4.3.多层感知机的简洁实现1）模型2）小结.4.2.多层感知机的从零开始实现现在让我们实现一个多层感知机。
XiaoJ1234567·2025-06-23 06:08

深度学习——激活函数

深度学习——激活函数激活函数是人工是人工神经网络中一个关键的组成部分，它被设计用来引入非线性特性到神经网络模型中，使神经网络能够学习和逼近复杂的非线性映射关系。
笨小古·2025-06-20 14:08

MSE做多分类任务如何

输出：配合softmax激活函数，输出每个类别的概率（和为1）。判卷逻辑：看「预测概率是否接近真实类别」，比
·2025-06-16 15:14

多分类与多标签分类的损失函数

使用神经网络处理多分类任务时，一般采用softmax作为输出层的激活函数，使用categorical_crossentropy（多类别交叉熵损失函数）作为损失函数，输出层包含k个神经元对应k个类别。
麦格芬230·2025-06-13 21:24

多标签分类的激活函数和损失函数

刚入门DeepLearning不久，前一段时间一直在学习cifar10的分类，突然最近要做一个多标签的任务，突然有点不知所措，不知从何下手了。于是查阅了一些资料，了解一下多分类任务与多标签分类任务的异同。-多分类任务：只有一个标签，但是标签有多种类别。-多标签分类任务：一条数据可能有一个或者多个标签，比如一个病人的眼底检测报告，它可能被标记患有糖尿病、高血压多个标签。多标签分类任务的特点：1.类别
通过幸福的路唯有奋斗·2025-06-13 20:52

多标签多分类 用什么函数激活

在多标签多分类任务中，激活函数的选择需要根据任务特性和输出层的设计来决定。
MYH516·2025-06-13 20:20

神经网络训练：激活函数与损失函数的选择，一篇干到底！

在神经网络的世界里，激活函数决定模型能不能“学会非线性”，损失函数决定模型往哪个方向学、学多少。
赵青临的辉·2025-06-13 04:55

基于卷积神经网络的 Fashionminsit 数据集分类

4.优化模型性能：通过调整网络结构和超参数（如卷积层数量、卷积核大小、池化层、激活函数等），优化模型的准确率。5.理解过拟合现象：通过
ʚɞ 长腿欧巴·2025-06-11 15:33

激活函数介绍

激活函数（ActivationFunction）是神经网络中非常重要的组成部分，它决定了神经元的输出，并引入了非线性，使得神经网络能够学习复杂的模式。
东皇太星·2025-06-11 01:20

python训练营打卡第41天

知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数
·2025-06-10 16:16

神经网络学习-神经网络简介【Transformer、pytorch、Attention介绍与区别】

y=f(∑i=1nwixi+b)y=f\left(\sum_{i=1}^{n}w_ix_i+b\right)y=f(i=1∑nwixi+b)xix_ixi：输入wiw_iwi：权重bbb：偏置fff：激活函数
Crabfishhhhh·2025-06-10 06:39

神经元激活函数在神经网络里起着关键作用

神经元激活函数在神经网络里起着关键作用，它能为网络赋予非线性能力，让网络可以学习复杂的函数映射关系。
MYH516·2025-06-10 02:36

【OpenCV】cv::exp函数详解

cv::exp是OpenCV中用于对矩阵中的每个元素进行自然指数运算（即ex）的函数，常用于图像增强、概率计算或机器学习中的激活函数（如Softmax）。
浩瀚之水_csdn·2025-06-09 23:16

第四十一天打卡

知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数
wswlqsss·2025-06-09 18:15

狂登Nature子刊！2025年KAN还是大势！

KAN的核心在于将激活函数置于网络的边（连接）上，而不是传统的节点上，并通过B样条函数进行参数化，使得网络能够以较少的参数量实现高精度的预测。
沃恩智慧·2025-06-09 12:03

第十二课：大白话教你什么是感知机

激活函数：决定是否"开火"（要不要喊"这是蓝积木！"）类比：感知机就像个吃
顽强卖力·2025-06-09 11:24

BasicBlock组件的详解

以下是其关键特性与实现原理的详细解析：一、基本结构与设计原理双层卷积架构BasicBlock由两个连续的3×3卷积层构成，每层后接BatchNormalization（BN）和ReLU激活函数：第一层：
浩瀚之水_csdn·2025-06-08 15:04

cnn卷积神经变体

2.AlexNet（2012）改进：引入ReLU激活函数、Dropout、数据增强，开启深度学习时代。应用
MYH516·2025-06-07 05:07

深度学习在非线性场景中的核心应用领域及向量/张量数据处理案例，结合工业、金融等领域的实际落地场景分析

解决方案‌：‌输入张量‌：高分辨率晶圆图像→三维张量(Batch,Height,Width,Channels)12‌模型结构‌：CNN+ReLU激活函数→多层非线性特征提取38‌输出‌：缺陷位置概率热图
MYH516·2025-06-06 11:03

6.02打卡

.batch归一化：调整一个批次的分布，常用与图像数据4.特征图：只有卷积操作输出的才叫特征图5.调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数
丁值心·2025-06-05 10:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他