regularization

deep learning notes 1：初始化

ImprovingDeepNeuralNetworks:Hyperparametertuning,RegularizationandOptimization决定每周抽时间听听deeplearning.ai
zqh_zy·2020-06-26 07:13

machine learning博客索引

线性回归机器学习笔记-Logistic回归机器学习笔记-利用线性模型进行分类机器学习笔记-NonlinearTransformation机器学习笔记-HazardofOverfitting机器学习笔记-Regularization
_席达_·2020-06-26 05:47

Coursera吴恩达《优化深度神经网络》课程笔记（2）-- 优化算法

接着，我们介绍了防止过拟合的两种方法：L2regularization和Dropout。然后，介绍了如何进行规范化输入，以加快梯度下降速度和精度。然后，
红色石头Will·2020-06-26 05:29

多层神经网络权重研究（一）

友情链接结合numpy及mnist库的简单神经网络演练文章目录友情链接前言正文权重初始化原因分析方差选择sigmoid函数tanh函数Xarier优化算法Relu函数过拟合问题综合概述解决方法剪枝操作正则化（regularization
joker-smart·2020-06-26 00:30

深度学习笔记-Hyperparameter tuning-2.1.1-initialization初始化

ImprovingDeepNeuralNetworks-Hyperparametertuning,RegularizationandOptimization：https://www.coursera.org
mayavii·2020-06-26 00:20

Google 机器学习术语表 Part 3 of 4

文章目录1.背景12.L12.1.L1L_1L1损失函数(L1L_1L1loss)12.2.L1L_1L1正则化(L1L_1L1regularization)12.3.L2L_2L2损失函数(L2L_2L2loss
Curren.wong·2020-06-25 21:06

深度学习：学习率规划-余弦退火CosineAnnealing和WarmRestart原理及实现

目录：原理介绍Numpy直观实现Keras实现主要参考文献：【1】DECOUPLEDWEIGHTDECAYREGULARIZATION1.原理介绍论文中对学习率规划原理描述如下，公
Ten_yn·2020-06-25 14:16

基于SVM的思想做CIFAR-10图像分类

使用largemargin来regularization。之前讲SVM的算法：https://www.jianshu.com/p/8fd28df734a0线性分类线性SVM就是一种线性分类的方法。
「已注销」·2020-06-25 11:18

避免线性回归的过拟合（一）：正则化线性模型3个（岭回归+Lasso回归+弹性网络）

正则化线性模型文章目录正则化线性模型1.RidgeRegression(岭回归，又名Tikhonovregularization)2.Lasso回归3.弹性网络4.EarlyStopping1.RidgeRegression
汪雯琦·2020-06-25 09:56

Label smooth

什么是Labelsmoothregularization对分类问题经过softmax函数之后的onehot编码(正类概率为1，其他为0)进行改进。
今天Today·2020-06-25 06:20

【深度学习】过拟合抑制（一）权重衰减（weight decay）

权重衰减（weightdecay）是一种常用的应对过拟合的方法，其等价于L2L_2L2范数正则化（regularization）。正则化通过为
Beb1997·2020-06-25 04:27

深度学习第二课 改善深层神经网络：超参数调试、正则化以及优化 第一周正则化 笔记和作业

正则化通常而言，深度学习的Regularization方法包括：1.L2正则化2.Dropout3.DataAugmentation4.EarlystoppingL2正则化“Weightdecay”L2
Vico_Men·2020-06-25 03:40

Coursera-吴恩达-深度学习-改善深层神经网络：超参数调试、正则化以及优化-week3-测验

本文章内容：Coursera吴恩达深度学习课程，第二课，改善深层神经网络：超参数调试、正则化以及优化(ImprovingDeepNeuralNetworks:Hyperparametertuning,RegularizationandOptimization
帅金毛·2020-06-24 22:26

Coursera-吴恩达-深度学习-改善深层神经网络：超参数调试、正则化以及优化-week2-测验

本文章内容：Coursera吴恩达深度学习课程，第二课，改善深层神经网络：超参数调试、正则化以及优化(ImprovingDeepNeuralNetworks:Hyperparametertuning,RegularizationandOptimization
帅金毛·2020-06-24 22:26

旷世提出类别正则化的域自适应目标检测模型，缓解场景多样的痛点 | CVPR 2020

充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性，从实验结果来看，类该方法能够很好地提升DAFasterR-CNN系列的性能 来源：晓飞的算法工程笔记公众号论文:ExploringCategoricalRegularizationforDomainAdaptiveObjectDetection
VincentLee·2020-06-24 18:55

机器学习之正则化（regularization）

先来看看，传统的预测房价的例子，先对该数据做线性回归，也就是左边第一张图。如果这么做，我们就可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，虽然房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此，线性回归并没有很好拟合训练数据。我们将此类情况称为欠拟合（underfitting）或者叫做高偏差（bias）。这两种说法大致相似，都表示没有很好地
Q-沐风听雨-·2020-06-24 16:21

【吴恩达机器学习】正则化 Regularization

正则化（Regularization）过拟合问题（TheProblemofOverfitting）左边的算法没有很好地拟合训练集，这个问题称作欠拟合(underfitting)，也可以说该算法具有高偏差
Elliott__·2020-06-24 15:27

正则化方法：L1和L2 regularization、数据集扩增、dropout

转载：http://blog.csdn.net/u012162613/article/details/44261657本文是《Neuralnetworksanddeeplearning》概览中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）
moluchase·2020-06-24 15:12

【深度学习笔记】正则化（Regularization）

本文主要是对吴恩达《深度学习工程师》在线课程关于正则化部分的笔记整理，并进行了一定的扩展。一、何为正则化在《深度学习》【1】一书中，正则化的定义是“对学习算法的修改——旨在减少泛化误差而不是训练误差”。我们知道正则化的目的是减少过拟合，对应定义中的泛化误差。那是不是减少过拟合的方法都可以叫做正则化呢？这个问题我暂时还无法解答。通过查阅相关资料我发现，通常在机器学习中大家所说的正则化是对目标函数添加
云若祯初·2020-06-24 12:24

keras数据增强方法

Regularization：
海清河宴·2020-06-24 09:03

recurrent neural network regularization

本文介绍了lstm的regularization:dropout.lstm:符号意思：对lstm进行rugularization，第一需要达到regularization的效果，第二不能丧失lstm的记忆能力
longxiao666·2020-06-24 01:18

[Python嗯~机器学习]---L1正则化和L2正则化

正则化解决过拟合问题正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。
暴走的鹏鹏哥哥·2020-06-24 00:32

机器学习中的正则化(Regularization)

转自：作者：Zero黑羽枫链接：https://www.jianshu.com/p/569efedf6985-----------------------------------------------------------------------------------------------------------------------文中部分图片摘自吴恩达deeplearning课程的作
Mr.Q·2020-06-23 22:16

旷世提出类别正则化的域自适应目标检测模型，缓解场景多样的痛点 | CVPR 2020

充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性，从实验结果来看，类该方法能够很好地提升DAFasterR-CNN系列的性能 来源：晓飞的算法工程笔记公众号论文:ExploringCategoricalRegularizationforDomainAdaptiveObjectDetection
晓飞的算法工程笔记·2020-06-23 10:00

第二章第5节 权重衰减

2.5.1方法权重衰减等价于范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述范数正则化，再解释它为
dongyunchao123·2020-06-23 05:21

深度学习（增量学习）——GAN在增量学习中的应用（文献综述）

文章目录前言MemoryreplayMemoryreplay的缺陷RegularizationRegularization方式一：EWCRegularizationRegularization方式二：L2
菜到怀疑人生·2020-06-23 04:03

tensorflow笔记三：神经网络优化（损失函数：自定义损失函数、交叉熵、softmax()）...

层数=隐藏层的层数+1个输出层总参数=总W+总b神经网络的优化四个方面：损失函数loss、学习率learning_rate、滑动平均ema、正则化regularization(1)损失函数（loss）:
chq37777·2020-06-22 22:48

7.深度学习练习：Regularization

课程链接：https://www.deeplearning.ai/deep-learning-specialization/目录1-Package2-Non-regularizedmodel3-L2Regularization
10点43·2020-06-22 21:30

论文笔记之：Semi-supervised Classification with Graph Convolutional Networks

文章主要思想：2.代码实现（Pytorch）：https://github.com/tkipf/pygcn【Introduction】：本文尝试用GCN进行半监督的分类，通过引入一个graphLaplacianregularizationte
a1424262219·2020-06-22 10:30

regularization 正则化

机器学习笔记-吴恩达-目录笔记描述正则化是什么？正则化是通过对假设函数附加一项正则化参数，来减小该项的拟合程度。为什么要有正则化？有的时候，为了更好的拟合数据的情况，我们会在训练时，添加高阶项。但这会引发新的问题，如果训练的足够多，那会产生过拟合现象，这时候很难对测试数据有更好的泛化性。如果训练的不够，又会导致欠拟合情况，连训练集都无法准确预测。如何正则化？为了不过拟合，我们想要保持高阶项的系数足
影灵衣·2020-06-22 09:27

深度学习和机器学习——试题

问题1写出常见的正则化和防止过拟合的技术，平时调参的经验解答：防止过拟合：earlystopping参数正则化问题2dropout为什么解决overfitting，L1和L2regularization
Vic时代·2020-06-22 07:10

机器学习第二讲 稀疏学习Lasso Regression和正则化regularization 的Ridge Regression

lasso(leastabsoluteshrinkageandselectionoperator）要是能把全称背下来你能一直记住LASSO的原理是absoluteshrinkage以及它有selection的作用。Lasso来自leastsquaresmodels(最小二乘法线性回归)①常规的线性回归的做法是最小化下面这个损失函数:②Lasso回归的损失函数则多了一个对于回归系数的约束条件：③岭回
Jinsen0901·2020-06-22 00:06

吴恩达深度学习笔记(30)-正则化的解释

正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高
极客Array·2020-06-21 21:56

【机器学习笔记】Regularization : Ridge Regression（岭回归）

要点总览线性回归，即最小二乘法，它的目的是最小化残差平方的总和。而岭回归需要在此基础上增加lambdax所有参数的平方之和（如斜率等，除y轴截距外），这部分被称为岭回归补偿（RidgeRegressionPenalty）。lambda值（也叫调整参数，tuningparameter）可以由0到正无穷，随着lambda值的增大，我们预测的Size随着Weight的变化会越来越小。我们可以通过交叉验证
至肝主义圈毛君·2020-06-21 21:18

[总结] 该如何设计神经网络 [1] - 模块方法功能汇总

查询列表经典的网络结构卷积层（Convolution）：提取特征池化层（Pooling）:减少参数全连接层：实现分类Dropout的机制：预防过拟合正则化（Regularization）：防止过拟合白化
傅立叶传奇·2020-06-21 20:35

machine learning学习笔记（二）-sklearn 库中常用算法的学习

sklearn常见算法简介LogisticRegressionBackgroundMaximumLikelihoodLogisticFunctionNormalDistributionRegularizationOverfitting
AmberPro·2020-06-21 16:17

机器学习之正则化（Regularization）

1.TheProblemofOverfitting1还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。我们把此类情况称为欠拟合(underfitting)，或者叫作叫做高
zhuwei0710·2020-06-21 15:38

机器学习与算法（9）--岭回归（Ridge Regression）

岭回归（RidgeRegression）岭回归(ridgeregression,Tikhonovregularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法
mensyne·2020-06-21 14:28

Coursera-吴恩达-深度学习-改善深层神经网络：超参数调试、正则化以及优化-week1-编程作业

本文章内容：Coursera吴恩达深度学习课程，第二课改善深层神经网络：超参数调试、正则化以及优化(ImprovingDeepNeuralNetworks:Hyperparametertuning,RegularizationandOptimization
帅金毛·2020-06-21 04:46

吴恩达深度学习第二课笔记——改善深层神经网络：超参数调试、正则化以及优化

Train/Dev/Testsets）1.2偏差，方差（Bias/Variance）1.3机器学习基础（BasicRecipeforMachineLearning）偏差高方差高同时减少方差和偏差1.4正则化（Regularization
solejay·2020-06-21 03:09

CVPR2020｜立体视觉相关论文汇总（附论文链接/开源代码/解析）【持续更新】

立体视觉相关论文汇总光场重建LightFieldSpatialSuper-ResolutionviaDeepCombinatorialGeometryEmbeddingandStructuralConsistencyRegularizationLearningFusedPixelandFeature-BasedViewReconstructionsforLightFields
Kobaayyy·2020-06-20 22:11

优化深度神经网络笔记（一）优化神经网络方法

Trainingsets）、验证集（Developmentsets）、测试集（Testsets）的选择；偏差（Bias）和方差（Variance）的概念；避免highbias和highvariance的方法；正则化（regularization
yue200403·2020-06-17 12:16

tensorflow使用L2 regularization正则化修正overfitting过拟合方式

L2正则化原理：过拟合的原理：在loss下降，进行拟合的过程中（斜线），不同的batch数据样本造成红色曲线的波动大，图中低点也就是过拟合，得到的红线点低于真实的黑线，也就是泛化更差。可见，要想减小过拟合，减小这个波动，减少w的数值就能办到。L2正则化训练的原理：在Loss中加入（乘以系数λ的）参数w的平方和，这样训练过程中就会抑制w的值，w的（绝对）值小，模型复杂度低，曲线平滑，过拟合程度低（奥
·2020-05-23 10:19

【半监督学习】Π-Model、Temporal Ensembling、Mean Teacher

Π-Model、TemporalEnsembling和MeanTeacher三者都是利用一致性正则（consistencyregularization）来进行半监督学习（semi-supervisedlearning
wuliytTaotao·2020-05-04 11:00

Coursera吴恩达课程笔记 2.1《优化深度神经网络》-- 深度学习的实用层面

文章目录1.Train/Dev/Testsets2.Bias/Variance3.BasicRecipeforMachineLearning4.Regularization5.Whyregularizationreducesoverfitting6
jianming21·2020-04-19 20:45

神经网络基础：从一个线性模型说起

一个通用的模式识别流程1.2一个线性分类器1.3softmax函数2.损失函数2.1one-hot编码2.2交叉熵损失函数Cross-EntropyLoss2.2折页损失HingeLoss2.3正则化Regularization2.4
stdcoutzrh·2020-04-19 15:23

【半监督学习】MixMatch、UDA、ReMixMatch、FixMatch

目录ConsistencyRegularizationEntropyMinimization结合ConsistencyRegularization和EntropyMinimizationFixMatc
wuliytTaotao·2020-04-18 22:00

机器学习中的正则化(Regularization)

文中部分图片摘自吴恩达deeplearning课程的作业，代码及课件在我的github：DeepLearning课件及作业关于本篇正则化的具体路径是：正则化作业正则化的概念及原因简单来说，正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时，最终目的是让模型在面对新数据的时候，可以有很好的表现。当你用比较复杂的模型比如神经网络，去拟合数据时，很容易出现过拟合现象(训
Zero黑羽枫·2020-04-12 14:32

Elastic-net 导读

RegularizationandVariableSelectionviatheElasticNet关键词：groupeffects,p≫nproblem,LASSO,variableselection
璆_ca09·2020-04-07 16:16

【NLP面试QA】基本策略

为什么说模型参数越小，模型越简单正则化Regularization正则化方法正则化如何解决过拟合的如何在代码中加入正则化关于梯度下降Batch/Mini-Batch/SGD梯度下降增大batchsize
西多士NLP·2020-04-03 22:00
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他