Tuning

【论文阅读】GPT系列论文详解

文章目录GPTIntroductionFrameworkUnsupervisedpre-trainingSupervisedfine-tuningTask-specificinputtransformationsExperimentLanguageModelsareUnsupervisedMultitaskLearners
长命百岁️·2022-12-28 14:13

文档图像分类、信息提取、信息结构化之 LayoutLM、LayoutLMv2、LayoutXLM —— 论文阅读笔记

LayoutLMFTDocumentUnderstandingTasksLayoutLMOverviewLayoutLMPre-trainingFine-tuningExperimentsModelPre-trainingStructuralLMLayoutLMv2OverviewLayoutLMv2ModelArchitecturePre-trainingFine-tuningExperimen
CharlesWu123·2022-12-27 16:58

【论文&模型讲解】UPT 文本分类 Towards Unified Prompt Tuning for Few-shot Text Classification

文章目录前言0摘要1Introduction2UPT:TheProposedFramework2.1UPT概述2.2统一prompting范式2.3统一提示在自监督学习中的推广2.4Few-shotFine-tuning3
friedrichor·2022-12-26 11:37

一、迁移学习与fine-tuning有什么区别？

一、迁移学习举个例子，假设boss让你做一下目标检测，这个数据集是关于光纤箱喷码字符检测的。问题是，数据集很少（只有1000张数据），里面有多干扰的信息，你发现从零训练开始训练yolo的效果很差，很容易过拟合。怎么办呢，于是你想到了使用TransferLearning，用别人已经训练好的Imagenet的模型来做。二、迁移学习有哪些手法把Alexnet里卷积层最后一层输出的特征拿出来，然后直接用S
YAYA视觉·2022-12-26 09:26

关于 Camera 开始 Tuning 时的一些注意事项

本文主要总结下此次项目遇到的问题，及产品开始tuning时的一些注意事项。
木 东·2022-12-26 09:04

使用Fairseq微调预训练模型

数据集处理2.2划分数据集2.3二值化数据2.4继续预训练1.先决条件从源码安装Fairseq安装transformers脚本在https://github.com/jazzisfuture/FineTuningXLM-R
Chromatica_·2022-12-26 04:44

论文浅尝 | 利用冻结语言模型的多模态少样本学习

Prompttuning通过添加提示信息，充分挖掘预训练语言模型蕴含的知识，在few-sh
开放知识图谱·2022-12-26 00:42

NLP-D8-李宏毅机器学习---预训练模型问题&adaptation&explainable AI&RL&learningmap

一共讲了两个问题，以及相应解决方法：1、数据量小，模型难以fine-tune的问题2、参数量过大问题其中我产生了两个问题：1、promt-tuning和fine-tuning有什么不同？
甄小胖·2022-12-25 21:31

【Pytorch】BERT+LSTM+多头自注意力（文本分类）

通过对BERT、RoBERTa、GPT等预训练模型微调（fine-tuning）或者
NLP饶了我·2022-12-25 21:31

文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

如果不懂的话，请参考知识蒸馏基本原理其实，这里的知识蒸馏主要是在预训练模型的Fine-tuning中应用的较多，首先是使用一个大于1的T来学习预训练模型得到的一个有关数据之间的软分布，同时加上自己的一定真是数据
奋斗的海绵·2022-12-25 14:27

NLP新宠——Prompt范式

PET1.1PET建模1.2如何选取Prompt模板1.3预测得token如何映射label1.4实验结果二、KPT2.1主要idea2.2标签词的扩展2.3标签词去噪2.4语言表达器的使用2.5实验结果三、P-tuning3.1
javastart·2022-12-25 14:52

论文笔记 ACL 2022|Unified Structure Generation for Universal Information Extraction

2.1StructuredExtractionLanguage2.2StructuralSchemaInstructor2.3StructureGenerationwithUIE3Pre-trainingandFine-tuningforUIE3.1Pre-training3.2On-DemandFine-tuning4
hlee-top·2022-12-25 10:59

MySQL配置优化需要避免的误区

Caution:Don’toverwriteyourentiremy.cnfatoncewhentuningMySQL.Oneortwochangesperrestart,benchmark,thencontinue.Takebackupsfirstandbecareful
大囚长·2022-12-25 03:46

PySpark入门二十一：ML机器学习之参数调优

调整参数需要用到tuning这个包#导包importpyspark.ml.tuningastune#指定模型和参数列表logistic=cl.LogisticRegression(labelCol='INFANT_ALIVE
Roc Huang·2022-12-24 18:31

Bert在文本分类任务重如何进行 fine-tuning

Bert在文本分类任务重如何进行fine-tuning1.前言2.关于Bert3.训练3.1Bert直接在特定任务上做训练3.2Bert在特定任务上进一步pre-train，再在有label数据上做训练
雪糕遇上夏天·2022-12-24 14:56

基于Huggingface使用BERT进行文本分类的fine-tuning

随着BERT大火之后，很多BERT的变种，这里借用Huggingface工具来简单实现一个文本分类，从而进一步通过Huggingface来认识BERT的工程上的实现方法。1、loaddata train_df=pd.read_csv('../data/train.tsv',delimiter='t',names=['text','label'])print(train_df.shape)train
mamba10·2022-12-24 14:22

【文生图】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

论文地址：https://arxiv.org/abs/2208.12242v1项目地址：https://dreambooth.github.io/DreamBooth主要的工作目的是实现保留主体的细致特征的情况下使用文本对其进行环境等编辑。整体方法为给定一个主体的3-5个图像和文本提示作为输入，微调预训练的文生图模型（Imagen，但不限于特定模型）用于合成主体在不同场景中的全新照片级图像。该框架
橙子的科研日记·2022-12-24 13:24

NLP-预训练模型-201806-NLG：GPT-1【Decoder of Transformer】【预训练：GPT使用单向语言模型；Fine-tuning：GPT、Task的参数一起训练】

预训练模型(Pretrainedmodel)：一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型.在NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料，同时语言模型又是许多典型NLP任务的基础，如机器翻译，文本生成，阅读理解等，常见的预训练模型有BERT,GPT,roBERTa,transformer-
u013250861·2022-12-23 08:59

【PTM】GPT-2：四只角的独角兽

在有了之前论文的基础后读这篇论文就比较简单了，论文介绍的是OpenAI对GPT的一个改进模型GPT-2，其模型结构与GPT相比几乎没有什么变化，只是让模型变得更大更宽，并且取消了Fine-tuning的步骤
阿泽的学习笔记·2022-12-23 08:27

BERT入门实践: sentence-pair classification（colab +tensorflow2.5）

文章目录概要描述详细说明下载GLUE数据下载bert源码下载并解压chinese_L-12_H-768_A-12.zipFine-Tuning参考文章：一文读懂BERT(实践篇)概要描述根据参考文章1中使用
Sciengineerv·2022-12-21 18:03

【无标题】

首发地址：https://zhuanlan.zhihu.com/p/451144980读了复旦大学发的文章《Template-freePromptTuningforFew-shotNER》，是用小样本思路
远行人_Xu·2022-12-21 05:51

线下活动丨Big Model Meetup 第1期：大模型Prompt Tuning技术，8场学术报告和Poster展示...

「BigModelMeetup」系列活动是由智源研究院悟道团队、青源会、清华大学计算机科学与技术系博硕论坛、中国中文信息学会青年工作委员会共同组织，智源社区提供社区支持，PaperWeekly提供媒体支持。该系列活动旨在建设“大模型”研究和应用的“技术社区”，推动国内大模型技术的交流与发展，打造相关专家学者、爱好者深度的交流分享平台。BMMeetup第一期以大模型微调技术为主题，于2021年10月
智源社区·2022-12-21 05:43

提示学习Prompt介绍

下游任务的目标与预训练的目标差距过大导致提升效果不明显，微调过程中依赖大量的监督语料降低语义差异：预训练任务主要以（MLM）为主，而下游任务则重新引入新的训练参数，因此两个阶段的目标通常有较大差异；避免过拟合：由于再Fine-tuning
帅奇奇的博客·2022-12-20 19:02

【学习】自监督学习2、GPT、PLM

2、pre-trainedlanguagemodels的最近发展pre-trainedlanguagemodels的背景3、解决方法（1）prompttuning（数据高效微调:即时调优）2、few-shotlearning
Raphael9900·2022-12-20 19:00

NLP（十一）：PaddlePaddle

1.框架图2.部署方案3.PaddleHub和PaddleNLPPaddleHub：对现有模型进行fine-tuningPaddleNLP：已经构建完成，可直接使用（情感分类）1）PaddleHub2）
博途慧算·2022-12-20 15:53

论文复现-2代码研读：Black-Box Tuning for Language-Model-as-a-Service

第一步：将作者所给代码跑通。下载代码，放置在本地文件夹。报错问题一：使用huggingface中loaddataset函数报错。显示connecterror。修改如下：将数据集下载文件.py文件在本地，然后从.py文件中加载数据集。解决方式参考：https://blog.csdn.net/weixin_49346755/article/details/125284869#:~:text=load_
QianTu&·2022-12-20 12:01

论文复现-1论文重读：Black-Box Tuning for Language-Model-as-a-Service

论文核心：使用PLM的API进而完成promptlearning，微调完成任务。具体来说，是采用连续prompts拼接在input_text之后，然后，通过derivative-free的框架，完成任务。一、背景（Introduction）大前提：由于商业原因等，大模型的参数是不会公开的。其次，微调一个大模型是比较昂贵的。但是一般大模型会开放API端口，供users使用。这种情形称为：“Langu
QianTu&·2022-12-20 12:31

学习率是什么，怎么调整

学习率的定义：Wikipedia给出LearningRate的定义如下Inmachinelearningandstatistics,thelearningrateisatuningparameterinanoptimizationalgorithmthatdeterminesthestepsizeateachiterationwhilemovingtowardaminimumofalossfunc
青椒炒代码·2022-12-20 11:05

论文阅读笔记（12）--- Bert

BertAbstractIntroductionRelatedWorkBERTModelArchitectureInput/OutputRepresentationsPre-trainingBERTFine-tuningBERTConclusionAbstract
打着灯笼摸黑·2022-12-20 07:35

Pytorch特征提取

pytorchfinetuning自己的图片进行行训练：https://blog.csdn.net/xiexu911/article/details/81227126Pytorch学习笔记（I）——预训练模型
zhangyuexiang123·2022-12-19 18:45

【分布外检测】《Energy-based Out-of-distribution Detection》 NIPS‘20

还提出一个基于能量的正则化项，用来针对性fine-tuning模型。
chad_lee·2022-12-19 15:08

吴恩达深度学习笔记 course2 week3 超参数调试,Batch Norm,和程序框架

1.TuningProcess对超参数的一个调试处理一般而言,在调试超参数的过程中,我们通常将学习率learning_rate看作是最重要的一个超参数,其次是动量梯度下降因子β(一般为0.9),隐藏层单元个数
weixin_30872733·2022-12-19 09:57

吴恩达深度学习笔记7-Course2-Week3【超参数调试、Batch 正则化和程序框架】

超参数调试、Batch正则化和程序框架一、超参数调试（hyperparametertuning）推荐的超参数重要性排序：1、学习率(learningrate):α2、隐藏神经单元(hiddenunits
Wang_Jiankun·2022-12-19 09:53

R-CNN论文解读

博文目录R-CNN概要思路R-CNN流程概述预训练大型分类网络基于特定数据集微调网络训练目标分类器SVMs训练目标回归器R-CNN细节剖析IOU解决类别标注问题fine-tuning与SVM正负样本定义不一样的问题非极大值抑制
enginelong·2022-12-19 08:38

Meta Learning

文章目录一、Few-shotlearning:basicconcepts二、Siamesenetwork1.两两2.tripletloss三、Pretraining+finetuning1.Preliminary
老干妈拌士力架·2022-12-18 07:44

ISP Tuning

ISPTuning1.简介1.1Sensor动态范围2.常用算法2.1BLC2.2AWB(处理色温引起的偏色问题)2.2.1色温（ColorTemperature:温度越低色温越高）2.2.2为什么需要
Arrow·2022-12-16 15:06

python语言是编译执行_加速Python运行的工具

运行的工具应用如果你需要让你的Python程序加速运行，在不同的层次有一些不同的解决方案：重写你的Python代码，通过并行化parallelizing和优化optimizing/替代replacing/调试tuning
weixin_39947522·2022-12-16 15:01

论文译文——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

文章目录摘要1.简介2.相关工作2.1UnsupervisedFeature-basedApproaches（基于特征的无监督的方法）2.2UnsupervisedFine-tuningApproaches
晴晴_Amanda·2022-12-16 12:19

[nlp] Bert 冻结参数，打开训练emb

之旅对抗训练的理解，以及FGM、PGD和FreeLB的详细介绍__illusion_的博客-CSDN博客_freelb使用huggingface的Transformers预训练自己的bert模型+FineTuning_Wisley.Wang
(∩ᵒ̴̶̷̤⌔ᵒ̴̶̷̤∩)·2022-12-16 10:18

python模型预测控制_模型预测控制

AboutThisworkaimsatimplementingsimpleMPCcontrollerforgym'sMujocomodelsasdescribedinNeuralNetworkDynamicsforModel-BasedDeepReinforcementLearningwithModel-FreeFine-TuningandbuildonitbyaddingLQRbas
weixin_39922749·2022-12-15 08:44

谈谈 AI ISP （4）AI ISP的未来

几个可能的方向提高传统ISP的性能，重点关注Denoise，DPC,Demosaic,LTM，AWB提高ISPtuning的效率。用AI分析评估图像质量。用AI优化参数。
jinre2·2022-12-15 01:14

【自监督论文阅读笔记】Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation

掩码图像建模(MIM)学习表示具有非常好的微调性能，盖过了以前流行的预训练方法，如图像分类、实例对比学习和图像-文本对齐。在本文中，证明了这些预训练方法的较差微调性能可以通过以特征蒸馏(FD)形式的简单后处理来显著改善。特征蒸馏将旧的表示转换成新的表示，新的表示具有一些期望的属性，就像MIM产生的那些表示一样。这些属性，我们统称为optimizationfriendliness优化友好性，通过一组
YoooooL_·2022-12-14 15:10

MiniLM V2 深度自注意力蒸馏: Multi-Head Self-Attention Relation Distillation for Compressing Pretrain

NeurIPS2020）MINILM-知乎论文个人理解目的与V1一样，本篇paper也是在预训练阶段蒸馏模型（跟任务无关的蒸馏架构），下游任务直接load蒸馏预训练好的student模型，使用任务相关数据finetuning
亦万·2022-12-14 15:39

模型精度再被提升，统一跨任务小样本学习算法 UPT 给出解法！

阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表统一多NLP任务的预训练增强小样本学习算法UPT（UnifiedPromptTuning
阿里云云栖号·2022-12-14 10:53

对YoloV5的backbone进行self-supervised learning以及fine-tuning

文章目录应用场景分离出YoloV5的backbone基于主干网络的自监督训练基于冻结主干梯度的模型预训练模型训练应用场景当你的数据集存在标注数据占比较小，无标注数据占大头的时候，可以考虑下自监督学习来提高主干网络的视觉表征能力，有关自监督学习的论文可以参考这篇博文。分离出YoloV5的backbone将YoloV5的backbone写成一个图像分类网络classYoloBackbone(BaseM
点PY·2022-12-14 05:55

TVM框架调研 — 环境搭建

我是在WSL1-Ubuntu-20.04的系统上搭建的整套开发环境，由于Tuning的过程涉及到主机与Android设备的RPC通信（需要主机与手机连接到同一局域网），建议大家在移动笔记本上搭建开发环境
Kane技术漫谈·2022-12-13 21:59

【(强推)李宏毅2021/2022春机器学习课程】2022-如何有效的使用自监督模型-Data-Efficient &Parameter-Efficient Tuning

文章目录1.self-pretrain是什么2.存在问题3.Data-EfficientFine-tuning：PromptTuning（提示，更有效地利用数据，比如数据量少的情况下）数据量更少4.Data-EfficientFine-tuning
I"ll carry you·2022-12-13 17:10

基于python的四阶龙格库塔求解一阶常微分方程组的问题

//Anhighlightedblockimportnumpyasnp##定义未知量和待定参数amplitude和detuningamplitude=20detuning=20#郎之万方程经典形式defdfun
weixin_39070836·2022-12-13 13:49

模型精度再被提升，统一跨任务小样本学习算法 UPT 给出解法！

阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表统一多NLP任务的预训练增强小样本学习算法UPT（UnifiedPromptTuning
阿里云大数据AI技术·2022-12-13 09:33

【论文理解 AAAI 2021】A search based fine-tuning strategy for few-shot learning

.新类上的微调三、实验结果总结前言这篇文章被AAAI2021录用，于2021年2月挂在arxiv上，在arxiv上面的题目是PartialIsBetterThanAll:RevisitingFine-tuningStrategyforFew-shotLearning
辣椒油li·2022-12-13 06:21
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他