regularization

推荐系统&知识图谱(5)---KGNN-LS

论文：Knowledge-awareGraphNeuralNetworkswithLabelSmoothnessRegularizationforRecommenderSystems，KDD，2019，
weberweber·2019-11-29 14:29

大学渣的ISLR笔记(6)-Linear Model Selection and Regularization

However,thelinearmodelhasdistinctadvantagesintermsofinferenceand,onreal-worldproblems,isoftensurprisinglycompetitiveinrelationtonon-linearmethods.Beforemovingtothenon-linearworld,wediscussinthischapte
olostin·2019-11-29 10:33

《Addressing Two Problems in Deep Knowledge Tracing via Prediction-Consistent Regularization》

ABSTRACT当重现DKT模型时，发现两个问题：themodelfailstoreconstructtheobservedinput，无法在预测结果中重现观察到的输入的信息，即：有时学生回答正确某个知识点，但是预测的该知识点的掌握程度却变低了，反之亦然，如图所示：该图表示一个学生的做题情况和每个时刻的预测情况，颜色越深，掌握的越好。在time=6时刻，学生把s45回答错误，但是预测的该知识点的掌
小白之白小明·2019-11-17 10:43

训练数据少但特征过多的办法

一人工增加训练集的大小.通过平移,翻转,加噪声等方法从已有数据中创造出一批”新”的数据.Regularization.数据量比较小会导致模型过拟合,使得训练误差很小而测试误差特别大.通过在LossFunction
Lornatang·2019-11-04 07:56

机器学习 Linear Regression Tricks 实例详解-V1.2

该段代码的主体介绍如下：Introduction该kernel将使用各种技巧来全面体现LinearRegression的作用，包括预处理和regularization(aprocessofintroducingadditionalinformationinordertopreventoverf
刘月玮·2019-11-03 21:32

深度学习中的几种正则化（Regularization）方法

正则化是一种策略，目的是减少测试误差，大体方式是通过增加（或减少）模型所能拟合的函数的数量来增加（或减少）模型的容量。使用参数范数惩罚，参考文献：[1]、[2]、[3]通常只惩罚权重，不惩罚偏置。基本公式：J~(θ;X,y)=J(θ;X,y)+αΩ(θ)\widetilde{J}(\pmb{\theta};\pmb{X},y)=J(\pmb{\theta};\pmb{X},y)+\alpha\Om
tomeasure·2019-10-23 15:17

Label smoothing 标签平滑

Labelsmoothing是机器学习中的一种正则化方法，其全称是LabelSmoothingRegularization(LSR)，即标签平滑正则化。
西北小生_·2019-10-20 19:50

ML笔记：多类支持向量机损失 Multiclass Support Vector Machine Loss+Python代码实战Mnist数据集！

1.1、损失函数1.2、举例解释1.3、正则化(Regularization)1.4、完整的多类SVM损失1.5、设置Δ\DeltaΔ1.6、梯度推导1.7、Python代码
炊烟袅袅岁月情·2019-10-01 19:09

深度学习Course 2踩坑记

先完成Regularizaion的作业，运行\COURSE2ImprovingDeepNeuralNetworksHyperparametertuning,RegularizationandOptimization
Wincent__·2019-09-28 20:17

CS231n Spring 2019 Assignment 3—StyleTransfer-PyTorch风格迁移

StyleTransfer-PyTorch风格迁移ContentlossStylelossTotal-variationregularization结果链接在上次的NetworkVisualization
laizi_laizi·2019-09-24 19:13

复习-优化算法

#smoothingparameterforadaptivelearningrateL1=0.2#L1regularization,largervaluemeansmoreregularizedL2
love_data_scientist·2019-09-16 12:47

backbone模型：FCN、SRN、STN

文章目录FCN网络CNN图像分割模型结构FCNgithub资源FCN的优缺点SRN网络什么是空间规整(spatialregularization）?
lxy_Alex·2019-09-15 12:27

深度学习100问之深入理解Regularization（正则化）

声明1）该文章整理自网上的大牛和机器学习专家无私奉献的资料，具体引用的资料请看参考文献。2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦。
我是管小亮 :)·2019-09-09 20:31

Improved Regularization of Convolutional Neural Networks with Cutout

摘要CNN具有非常强大的能力，然而，由于它的学习能力非常强，有时会导致过拟合现象的出现。为了解决这个问题，文章提出了一种简单的正则化方法：cutout。它的原理是在训练时随机地屏蔽输入图像中的方形区域。它不仅容易实现，且实验证明，它能够与其它的数据增强方法一起作用，来提高模型的表现。介绍近些年深度学习在许多有挑战性的领域中，如目标识别、语义分割、图像描述和人类姿态评估等做出了很好的表现。而这些表现
JachinMa·2019-09-08 16:08

图像三维重建专题第五期-Robust Non-Rigid Motion Tracking and Surface Reconstruction Using L0 Regularization

论文链接摘要我们展示了一个新的运动跟踪技术来增强重建非刚体几何和运动从一个视角深度输入在一个消费级深度传感器。这个观点是基于观察大部分非刚体运动（尤其是人体相关运动）内在参与运动子空间。为凸显这个优点，我们提出了新的L0基于运动正则化使用一个迭代优化，来清晰的约束局部形变在有关节结构上，导致减少解决空间和物理可信形变。这个L0策略是融合到可用的非刚体运行跟踪流程中，逐渐提取关节点信息在线进行跟踪，
独孤九剑-风清扬·2019-08-25 11:39

图像三维重建专题第五期-Robust Non-Rigid Motion Tracking and Surface Reconstruction Using L0 Regularization

论文链接摘要我们展示了一个新的运动跟踪技术来增强重建非刚体几何和运动从一个视角深度输入在一个消费级深度传感器。这个观点是基于观察大部分非刚体运动（尤其是人体相关运动）内在参与运动子空间。为凸显这个优点，我们提出了新的L0基于运动正则化使用一个迭代优化，来清晰的约束局部形变在有关节结构上，导致减少解决空间和物理可信形变。这个L0策略是融合到可用的非刚体运行跟踪流程中，逐渐提取关节点信息在线进行跟踪，
独孤九剑-风清扬·2019-08-25 11:39

李宏毅机器学习系列-深度学习小贴士

李宏毅机器学习系列-深度学习小贴士是过拟合的错么深度学习的技巧梯度消失ReluMaxout可调节的学习率RMSPropMomentumAdamEarlyStoppingRegularizationDropout
王伟王胖胖·2019-08-20 17:29

pytorch测试的时候为何要加上model.eval（）

Sure,Dropoutworksasaregularizationforpreventingoverfittingduringtraining.ItrandomlyzerostheelementsofinputsinDropoutlayeronforwardcall.Itshouldbedisabledduringtestings
qq_23304241·2019-08-14 19:21

正则化（Regularization）

正则化（Regularization）在深度学习出现之前就已经应用了数十年，它的主要目的是限制模型（如神经网络、线性回归）的学习能力，以防止模型出现过拟合现象。
SongGu1996·2019-08-11 14:10

pytorch实现正则化

下载地址参数正则化（WeightRegularization）以前的方法L2/L1Regularization机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，称作**L1正则化和
ys1305·2019-07-31 20:00

Wu deeplearning.ai C2W1 assignment_Regularization

RegularizationWelcometothesecondassignmentofthisweek.DeepLearningmodelshavesomuchflexibilityandcapacitythatoverfittingcanbeaseriousproblem
SunSuJJ·2019-07-28 18:41

pytorch学习笔记6--过拟合，交叉验证，正则化

文章目录过拟合过拟合、欠拟合交叉验证regularization动量与学习率衰减dropout，earlystop卷积神经网络resnetdensenetnn.Module数据增强实战lenet5resnet
niklaus.z.lee·2019-07-24 09:43

16.0-正则化.md

Copyright©MicrosoftCorporation.Allrightsreserved.适用于License版权许可第16章正则化英文为Regularization，用于防止过拟合。
昵称4·2019-07-18 01:19

Improved Regularization of Convolutional Neural Networks with Cutout论文笔记

文章目录1.Introduction2.Cutout3.Rethink4.ExperimentAttention:论文解读的博客原文发布于个人github论文合集欢迎关注，有想法欢迎一起讨论！私信评论均可。后面有些语法在CSDN的markdown上不支持，导致显示bug，我就懒得改了，有需求直接访问原博客查看。创建人github论文汇总个人博客知乎论文专栏ming71paperdailychase
chaser_ming7·2019-07-16 13:20

ubuntu之路——day7.2 regularization

所有的正则化方法来自于吴恩达老师的免费公开课：https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=20017010451.矩阵L2正则化(Frobenius范数)，有时也称其为“权重衰减”其本质是通过乘一个小于1的范数，使得w在每次迭代后逐渐变小，因此激活函数的范围也靠近0
NWNU-LHY·2019-07-15 11:00

吴恩达神经网络和深度学习-学习笔记-7-正则化regularization方法

解决高方差highvariance的方法有两种：正则化准备更多数据其中常用的正则化分为：L2正则化dropout正则化L2正则化L2正则化的原理对于正则化的解释可以看一下这个博客【通俗易懂】机器学习中L1和L2正则化的直观解释机器学习中，如果参数过多，模型过于复杂，容易造成过拟合（overfit）。即模型在训练样本数据上表现的很好，但在实际测试样本上表现的较差，不具备良好的泛化能力。为了避免过拟合
Harry嗷·2019-07-14 21:21

AI模型压缩算法汇总

，显著降低计算复杂度论文：http://openaccess.thecvf.com/content_CVPR_2019/papers/Li_OICSR_Out-In-Channel_Sparsity_Regularization_for_Compact_Deep_Neural_Networks_C
szZack·2019-06-30 10:45

机器学习 2014斯坦福大学课程: 3 正则化问题

文章目录机器学习2014斯坦福大学课程:3正则化问题机器学习分类回顾正则化（Regularization）程序实现总结参考机器学习分类回顾监督学习（supervisedlearning)1.1回归问题（
hyfariel·2019-06-26 21:21

医学图像分割————集成与后处理

MyronenkoA.3DMRIbraintumorsegmentationusingautoencoderregularization[
longlong9·2019-06-24 14:54

医学图像分割————数据预处理

MyronenkoA.3DMRIbraintumorsegmentationusingautoencoderregularization[C]//Internation
longlong9·2019-06-24 14:01

医学图像分割————网络结构

MyronenkoA.3DMRIbraintumorsegmentationusingautoencoderregularization[C]//InternationalMICCAIBrainlesionWorkshop.Springer
longlong9·2019-06-24 10:29

使用全局形状正则化在3-D OCT图像中概率的视网膜内层分割

Probabilisticintra-retinallayersegmentationin3-DOCTimagesusingglobalshaperegularization使用全局形状正则化在3-DOCT
HanWang~·2019-06-21 12:18

CNN经典结构（Lenet，AlexNet，VGG，GoogleNet，ResNet, Resnext, Densenet, Senet, BAM,mobilenet）及其pytorch实现

文章目录CNN经典结构前言ArchitectureRegularizationLearningRateScheduler经典网络结构1.LeNet52.AlexNet3.VGG4.GoogleNetInceptionv1Inceptionv2Inceptionv3Inceptionv4
vector_xfy·2019-06-19 21:37

权重衰减

方法权重衰减等价于L2L_2L2范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述L2L_2
Yongqiang Cheng·2019-06-14 23:51

TensorFlow2.0笔记18：过拟合介绍以及解决方法+补充: 实现GPU按需分配！

文章目录一、过拟合与欠拟合1.1、欠拟合Underfitting1.2、过拟合Overfitting1.3、总结二、交叉验证2.1、如何检测过拟合2.2、K-foldcrossvalidation交叉验证三、Regularization3.1
炊烟袅袅岁月情·2019-06-13 18:04

l1和l2正则化

L1regularizationencouragessparsity.importtensorflowastfimporttensorflow.contribascontribweight=tf.constant
Nicolas Léon Deng·2019-06-13 16:08

机器学习与数据挖掘 第十二讲：Regularization

正则化正则化主要思想：通过在原目标(代价)函数中添加惩罚项，对以控制模型复杂度，减小过拟合。J~(w;X,y)=J(w;X,y)+αΩ(w)\tilde{J}(w;X,y)=J(w;X,y)+\alpha\Omega(w)J~(w;X,y)=J(w;X,y)+αΩ(w)正则化假设集正则化两种方法：Mathematical函数近似过程的病态问题Heuristic通过妨碍EinE_{in}Ein最小化
leeningzzu·2019-06-13 14:22

深度学习 优化技巧---label smoothing 标签平滑 理解实例。

今天来进行讨论深度学习中的一种优化方法LabelsmoothingRegularization(LSR)，即“标签平滑归一化”。由名字可以知道，它的优化对象是Label(Train_y)。
Neveer·2019-06-12 23:37

李宏毅学习笔记12.半监督学习

第一种假设Low-densitySeparationself-trainingself-training的进阶：Entropy-basedRegularization其他半监督学习方法：Semi-supervisedSVM
oldmao_2001·2019-06-08 15:53

正则化(Regularization)、归一化(Normalization)、权重初始化等

正则化（Regularization）解决深度学习中的over-fitting(highvariance)问题，有两个solutions，其中之一就是regularization，另外就是moredata
Econe-wei·2019-06-05 18:56

机器学习笔记E2.1--梯度下降与正则化

前面的笔记简单介绍了线性回归的相关内容，针对正规方程法求解参数时的两个问题，这里将介绍梯度下降法（GradientDescent）和正则化（regularization）的相关知识。
EL33·2019-06-05 09:06

L1和L2正则化——PyTorch版本

一、用代码实现L1和L2regularizationweight_decay指定的权重衰减会对网络中所有参数（包括权值W和偏置b）进行操作，如果对b进行L2正则化可能会导致严重欠拟合，所以，一般只需对权值进行正则即可
我的断点在哪里·2019-05-31 15:01

从有约束条件下的凸优化角度思考神经网络训练过程中的L2正则化

从有约束条件下的凸优化角度思考神经网络训练过程中的L2正则化神经网络在训练过程中,为应对过拟合问题,可以采用正则化方法(regularization),一种常用的正则化方法是L2正则化.神经网络中L2正则化的定义形式如下
碌碌无为的人·2019-05-30 20:00

Semi-Supervised Classification with Graph Convolutional Networks

这是一个基于图的半监督学习，可以通过在损失函数中额外加一项graph-basedregularization来解决：其中L0\mathcal{L}_0L0表示label的损失，fff表示神
luputo·2019-05-24 17:20

keras学习笔记【核心网络层】Permute RepeatVector Lambda ActivityRegularization Masking SpatialDropout1D

Permute:置换输入维度RepeatVector：重复输入Lambda：自定义layer层ActivityRegularization（暂不清楚功能）其中功能原文为：Layerthatappliesanupdatetothecostfunctionbasedinputactivity
BrianLi_·2019-05-24 15:59

pytorch之regularization

L1,L2…regularization专门用于神经网络的正则化方法：dropout（随机失活）regularization[每次训练其中的一部分数据，随机忽略训练，反复如此使得结果不依赖某一部分特定神经元
bobi123bobi·2019-05-21 21:25

深度学习的一些知识点总结

找更多训练数据，regularization增大加深网络，同时增大训练集数据量，总是可取的。Regularization：L2平方和，对矩阵是Frob
随风秀舞·2019-05-19 00:16

Coursera机器学习第三周Regularization练习题

为什么要特别拿出来说这周呢？因为自己在做复选题时感觉只有一个答案正确，但他是多选题，所以试错了两次后，终于在第三次错了要等8小时的恐惧下使用了百度，然后发现是单选....因为coursera经常会调整选项顺序和答案内容，比如这周第一题，所以建议各位不要抄答案，理解了再去做。然后上结果，先证明自己是对的，这下你们就可以听我胡说了，23333.第一题第一个选项：加入一个新特征总可以使样本而非训练集表现
幻紫星·2019-05-18 10:02

正则化(Regularization)分析 [Andrew Ng 深度学习笔记]

之前一直都是看别人的公式，不理解正则化为什么会work，看了吴恩达老师的课后，感觉明白了许多，在这里整理一下笔记我感觉“正则化”这个词，在中文的语义看来有点奇怪，第一次看它感觉挺晦涩的但是当看到它的英文是Regularization
Originum·2019-05-15 20:25

机器学习基石笔记：14 Regularization

一、正则化的假设集合通过从高次多项式的退回到低次多项式的来降低模型复杂度，以减小过拟合的可能性。如何退回?图1.1正则化通过加上约束条件：图1.2约束条件如果加了严格的约束条件，就没有必要从退回到，直接使用就可以了。图1.3严格的约束条件因此，加上松弛点的约束条件，使得模型比复杂，但到不了那么复杂。图1.4更松弛的约束条件1图1.5更松弛的约束条件2二、权重衰减正则化图2.1带正则项的回归问题的矩
cherryleechen·2019-05-01 18:40
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他