Tuning

【TVM 学习资料】用 Schedule 模板和 AutoTVM 优化算子

这个自动优化张量计算的过程被称为Auto-Tuning。本教程基于前面的TE编写矩阵乘法教程设立。auto-tuning包括两个步骤：第一步：定义搜索空间。第二步：运行搜索算
HyperAI超神经·2023-02-24 07:14

R-CNN 阅读笔记

在阅读过程中，找了不少相关的资料来弄清楚比较细节的东西，其中hjimce的博客中，对于细节的理解要更全面一些，比如文中没有具体阐述的非极大值抑算法、对于fine-tuning、训练CNN和SVM的时候标签的定义和设计的思考
programmingfool5·2023-02-22 07:44

JVM知识体系学习六：JVM垃圾是什么、GC常用垃圾清除算法、堆内存逻辑分区、栈上分配、对象何时进入老年代、有关老年代新生代的两个问题、常见的垃圾回收器、CMS

文章目录前言一、GC（GarbageCollector）Tuning垃圾回收器1、什么是垃圾2、java与C++的区别3、howtofindagarbage?
java冯坚持·2023-02-22 02:41

【译】BERT Fine-Tuning 指南（with PyTorch）

ByChrisMcCormickandNickRyan原文链接：http://tinyurl.com/y74pvgyc介绍历史2018年是NLP突破的一年，迁移学习、特别是AllenAI的ELMO，OpenAI的Open-GPT，以及Google的BERT，这些模型让研究者们刷新了多项任务的基线（benchmark），并提供了容易被微调预训练模型（只需很少的数据量和计算量），使用它们，可产出当今最
程序员在深圳·2023-02-19 07:22

数据库顶会VLDB论文解读：阿里数据库智能参数优化的创新与实践

本文将对入围ResearchTrack的论文《iBTune:IndividualizedBufferTuningforLargescaleCloudDatabases》进行详细解读，以飨读者。注：
阿里云数据库·2023-02-18 16:23

P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks论文笔记

论文链接：P-Tuningv2:PromptTuningCanBeComparabletoFine-tuningUniversallyAcrossScalesandTasks代码链接：https://github.com
爱嘤嘤的小猪仔·2023-02-17 18:35

论文《Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning》学习笔记

arxiv.org/abs/2109.041441.Motivation在进行sentencepairclassification的时候，如果是few-shotlearning,使用prompt-basedfinetuning
Vincy_King·2023-02-17 18:33

【NLP】Prompt-Tuning这么好用？

作者：十方使用prompts去调节预训练模型处理文本分类任务在小样本上已经取得了比直接finetuning模型更好的效果，prompt-tuning的核心思想就是嵌入一小段文本，比如对于文本分类任务，将其转变成填空任务
风度78·2023-02-17 18:02

论文笔记：Template-free Prompt Tuning for Few-shot NER

论文来源：NAACL2022论文链接：https://arxiv.org/pdf/2109.13532.pdf代码地址：https://github.com/rtmaww/EntLM/Abstract基于提示学习的方法成功应用于句子级的小样本学习任务主要得益于模板和标签词的复杂设计，但是当应用于token级别的标签任务（如NER）时，在所有潜在的实体spans内枚举模板是非常耗时的。针对此问题，本
Daisymanman·2023-02-17 18:01

【文献分享】NLRs与其互作蛋白精细调控植物免疫

主要讲了NLRs和它的伙伴们互作来调控免疫反应，文章于2020年发表在Trendsinplantscience，题为"Fine-TuningImmunity:PlayersandRegulatorsforPlantNLRs
巩翔宇Ibrahimovic·2023-02-17 15:08

transformer-Autoregressive Language Models之GPT-1、2、3解析及GPT源码实现

1，Task-aware的人工智能Languagemodel+Pre-training+Fine-tuning时代2，Decoder-OnlyStack数学原理及架构解析3，训练材料标注：neutral
chu227·2023-02-16 23:23

Language Models are Few-Shot Learners

Abstract很多Pretrain+Fine-tuning的模型在多种NLP任务上取得不错效果，虽然这种模式下网络结构是任务无关的，但仍然需要任务特定的fine-tuning数据集。
chansonzhang·2023-02-16 23:52

【TVM 学习资料】用 Schedule 模板和 AutoTVM 优化算子

这个自动优化张量计算的过程被称为Auto-Tuning。本教程基于前面的TE编写矩阵乘法教程设立。auto-tuning包括两个步骤：第一步：定义搜索空间。第二步：运行搜索算
·2023-02-16 22:08

Sklearn调优之网格搜索与随机搜索原理详细分析

目录前言网格搜索（GridSearch）随机搜索（RandomizedSearch）前言超参调优是“模型调优”（ModelTuning)阶段最主要的工作，是直接影响模型最终效果的关键步骤，然而，超参调优本身却是一项非常低级且枯燥的工作
·2023-02-11 15:27

Coursera-吴恩达-深度学习-改善深层神经网络：超参数调试、正则化以及优化-week3-编程作业

本文章内容：Coursera吴恩达深度学习课程，第二课，改善深层神经网络：超参数调试、正则化以及优化(ImprovingDeepNeuralNetworks:Hyperparametertuning,RegularizationandOptimization
帅金毛·2023-02-07 13:23

Coursera-吴恩达-深度学习-改善深层神经网络：超参数调试、正则化以及优化-week2-编程作业

本文章内容：Coursera吴恩达深度学习课程，第二课，改善深层神经网络：超参数调试、正则化以及优化(ImprovingDeepNeuralNetworks:Hyperparametertuning,RegularizationandOptimization
帅金毛·2023-02-07 13:53

Coursera-吴恩达-深度学习-改善深层神经网络：超参数调试、正则化以及优化-week1-测验

本文章内容：Coursera吴恩达深度学习课程，第二课改善深层神经网络：超参数调试、正则化以及优化(ImprovingDeepNeuralNetworks:Hyperparametertuning,RegularizationandOptimization
帅金毛·2023-02-07 13:23

Coursera吴恩达课程笔记 2.3《优化深度神经网络》-- 超参数调试、Batch正则化和编程框架

文章目录1.TuningProcess2.Usinganappropriatescaletopickhyperparameters3.Hyperparameterstuninginpractice:Pandasvs.Caviar4
jianming21·2023-02-07 13:22

1/200 Learning Efficient Convolutional Networks through Network Slimming

Keywords：networkslimming,Sparsifying,ChannelPruning,Fine-tuning针对问题及解决方案：针对深度神经网络在实际应用中的部署很大程度上受到高计算成本的阻碍的问题
一定向着光的方向·2023-02-07 09:19

5模型训练和调参（The caret package）

5.模型训练和调参内容：ModelTrainingandParameterTuningAnExampleBasicParameterTuningNotesonReproducibilityCustomizingtheTuningProcessPre-ProcessingOptionsAlternateTuningGridsPlottingtheResamplingProfileThetrainCo
相逢一醉为前缘·2023-02-06 17:08

机器学习

1、tensorflowwhl下载2、bertfinetuning3、jupyter配置4、bertasservice文档5、tensorflow利用gpu(unbuntu18.04/cuda10.1/
PeterWang2017·2023-02-05 18:20

BERT:Pre-training of Deep Bidirectional Transformers for Language

fine-tuning：对于微调，首先使用预先训练的参数初始化BERT模型，并使用来自下
直接往二·2023-02-05 14:13

构建我的图像分类框架记录

系列参考博客评价指标训练trick整理调参网络结构调优resnet系列学习衰减策略标签平滑知识蒸馏数据增强ｍｉｘｕｐ参数值的设置优化批归一化batchnormalization损失函数添加正则化项FineTuninglearningrate
慕一Chambers·2023-02-05 10:43

mlflow模型生命周期_使用MLflow进行Tensorflow模型跟踪

Developingamachinelearningmodelisaniterativeprocessconsistingofmultiplestepssuchas—modelselections,modeltraining,hyperparametertuning
weixin_26726011·2023-02-04 19:26

关于入职 ISP Tuning 岗位的几个问题及解答

“有比较多的读者向我咨询过如何入职Tuning、及做Tuning的一些要求，这里结合我自身的一些工作经历，总结几条常见的问题，希望可以帮助到打算入职这个岗位的同学。
木 东·2023-02-04 15:45

每日学术速递2.3

CV-计算机视觉|ML-机器学习|RL-强化学习|NLP自然语言处理Subjects:cs.Cv、cs.LG1.CompositionalPromptTuningwithMotionCuesforOpen-vocabularyVideoRelationDetection
AiCharm·2023-02-04 09:13

Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

在pretrain-fineTuning两阶段的范式下，pretrain阶段，数据量较大，学习到的知识泛化能力较强。finetuning阶段的数据往往是少量的。
吹洞箫饮酒杏花下·2023-02-04 08:02

AdaQuant：改进训练后神经网络量化：分层校准和整数编程

AdaQuant：改进训练后神经网络量化：分层校准和整数编程摘要方法AdaQuant：在校准数据集上的逐层量化校验集的大小IntegerProgramming：实现每层的比特分配基本公式Batch-NormTuning
AI异构·2023-02-03 14:04

【Pytorch项目实战】之迁移学习：特征提取、微调、特征提取+微调、雾霾清除

文章目录迁移学习（TransferLearning）方法一：特征提取（FeatureExtraction）方法二：微调（FineTuning）（一）实战：基于特征提取的迁移学习（数据集：CIFAR-10
胖墩会武术·2023-02-01 20:43

深度学习调参指南《Deep Learning Tuning Playbook》

项目地址：https://github.com/google-research/tuning_playbook「大量的实践经验已被提炼成这份强大的深度学习模型调参指南。」
mingo_敏·2023-02-01 17:03

Deep Learning Tuning Playbook（深度学习调参手册中译版）

前言由五名研究人员和工程师组成的团队发布了《DeepLearningTuningPlaybook》，来自他们自己训练神经网络的实验结果以及工程师的一些实践建议，目前在Github上已有1.5k星。
羽星_s·2023-02-01 12:22

[FSCE]FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding(CVPR. 2021)

1.Motivation本文是基于fine-tuningbased方法Inthiswork,weobserveandaddresstheessentialweaknessofthefine-tuningbasedapproach–constantlymislabelingnovelin-stancesasconfusablecategories
Ah丶Weii·2023-01-31 15:17

ICCV2015(object detection)：Fast RCNN-论文解读《Fast R-CNN》

.FastR-CNNarchitectureandtraining2.1TheRoIpoolinglayer2.2Initializingfrompre-trainednetworks2.3Fine-tuningforobjectdetectionMulti-tasklossMin
我是大黄同学呀·2023-01-31 11:40

【科研】ET-BERT代码分析

微调数据集的链接—>fine-tuningcstnet-tls1.31.
勇往直前的力量·2023-01-31 11:32

【科研】ET-BERT资料库梳理

作者原repo链接https://github.com/linwhitehat/ET-BERT0.资料总库分为数据+模型+语料库1.数据集包含fine-tuning数据集（cstnet-tls1.3）与公开数据集
勇往直前的力量·2023-01-31 10:54

谷歌&HuggingFace | 零样本能力最强的语言模型结构

本文约2000字，建议阅读5分钟要是为了模型的zero-shot泛化能力，decoder结构+语言模型任务最好；要是再multitaskfinetuning，encoder-decoder结构+MLM任务最好
数据派THU·2023-01-31 10:04

《Improving Language Understanding by Generative Pre-Training》论文笔记

引言GPT（GenerativePre-Training）受到《Semi-SupervisedSequenceLearning》与《UniversalLanguageModelFine-tuningforTextClassification
凯子要面包·2023-01-30 20:47

Improving Language Understanding by Generative Pre-Training

本文展示了先在大规模未标注语料上预训练生成式语言模型然后在每个判别式任务上进行fine-tuning可以获得较大的效果提升。
chansonzhang·2023-01-30 20:46

(三)大话深度学习编译器中的自动调优·Empirical Search

大话深度学习编译器中的自动调优·前言"与第二篇"(二)大话深度学习编译器中的自动调优·DSL与IR"分别介绍了背景与一些相关概念，这第三篇我们开始切入正题，看下现代深度学习编译器中的自动调优（Auto-tuning
ariesjzj·2023-01-30 15:26

论文笔记之《Pre-trained Language Model for Web-scale Retrieval in Baidu Search》

Query-Document相关性模型Bi-encoderCross-encoderPoly-encoder四阶段训练范式pretraining-阶段一post-pretraining-阶段二intermediatefine-tuning
rogeroyer·2023-01-29 20:42

【差分隐私】Hyperparameter Tuning with Renyi Differential Privacy论文解读

【差分隐私】HyperparameterTuningwithRenyiDifferentialPrivacy论文解读文章目录【差分隐私】HyperparameterTuningwithRenyiDifferentialPrivacy
f蜀黍·2023-01-28 14:30

Audio-预训练模型-2020：Wav2vec 2.0

contrastivetask将真正的量化的latent变量表示与其他负例分辨出来（同时训练了量化过程的latentrepresentation),由此得到的representation，基于少量的有标签数据fine-tuning
u013250861·2023-01-26 17:52

2.FINE-TUNING WAV2VEC2 FOR SPEAKER RECOGNITION

摘要：本文探讨了将wav2vec2框架应用于说话人识别而不是语音识别。我们研究了预先训练的权重对说话人识别任务的有效性，以及如何将wav2vec2输出序列汇集到固定长度的说话人嵌入中。为了使框架适应说话人识别，我们提出了具有交叉熵或加性角度softmax损失的单话语分类变体，以及具有BCE损失的话语对分类变体。我们表现最好的变体在扩展的voxceleb1测试集上实现了1.88%的EER，而ECAP
一根藤～·2023-01-26 17:52

深度学习超参设置的一般性方法

HyperParameterTuningHandTuningGoodCodeStyle将各个参数的设置部分集中在⼀起。如果参数的设置分布在代码的各个地⽅，那么修改的过程想必会⾮常痛苦。
在路上的工程师·2023-01-26 13:08

apache负载，服务质量监控

服务做好了，加个apache做反向代理，觉得搭起来就好了，apache应该很强的，老牛气了，性能什么的应该都妥妥，但是最近性能问题比较多，调查起来突然发现apache好像透明的一样的，什么状态都获取不到，tuning
zeloas·2023-01-26 12:54

Prompt tuning新工作，五个参数解决下游任务 fine-tuning

今天介绍的这篇文章从近来大火的prompttuning的角度出发,对这个问题进行了初步的
夕小瑶·2023-01-26 11:55

预训练语言模型fine-tuning近期进展概述

近年来，迁移学习改变了自然语言处理领域的范式，对预训练语言模型（PLM）进行微调（fine-tuning）已经成为了新的范式。本文主要梳理了近期的预训练语言模型做fine-tuning的进展。
zenRRan·2023-01-26 11:54

一文综述Prompt Tuning发展

【专栏：前沿进展】2021年，PromptTuning已经成为NLP领域一大重点研究方向。不久前，CMU博士刘鹏飞发表了相关综述文章，在业界引起讨论。
智源社区·2023-01-26 11:53

AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction

AdaPrompt:AdaptivePrompt-basedFinetuningforRelationExtraction本文仅供参考、交流、学习论文地址：https://arxiv.org/abs/2104.07650v1
回锅肉炒肉·2023-01-26 11:23

【调参指南 - 值得推荐 - 谷歌】星标9K，强烈推荐谷歌大脑团队开源的深度学习调参指南

星标9K，强烈推荐谷歌大脑团队开源的深度学习调参指南:https://github.com/google-research/tuning_playbook视频：https://www.bilibili.com
I"ll carry you·2023-01-26 10:31
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他