Tuning

计算机控制系统的品质指标,过程控制系统的品质指标.PPT

这就是参数整定(Tuning)。过程控制系统的品质指标一个性能良好的过程控制系统，在受到外来扰动
urcarlllll·2023-06-16 03:50

XGBoost-Python完全调参指南-参数解释篇

在analyticsvidhya上看到一篇《CompleteGuidetoParameterTuninginXGBoostinPython》,写的很好。因此打算翻译一下这篇文章，也让自己有更深的印象。
hellozhxy·2023-06-15 14:28

XGBoost中参数调优的完整指南（含Python-3.X代码）

tab=repositories原文链接：https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-py
渔好学·2023-06-15 14:27

《论文阅读》连续前缀提示Prompt：table-to-text和摘要生成 ACL2021

今天为大家带来的是《Prefix-Tuning:Op
365JHWZGo·2023-06-15 13:47

oracle数据库sql调优,oracle SQL 调优（转载）

oracleSQL调优引自：http://bulo.aeeboo.com/group/topic/1815/ORACLESQLTUNING一．优化器模式ORACLE的优化器共有3种:a.RULE(基于规则
凉风祭·2023-06-15 06:38

李沐读论文笔记--大模型时代下做科研的四个思路

大模型时代下做科研的四个思路0.视频来源：1.提高效率（更快更小）1.1PEFT介绍(parameterefficientfinetuning)1.2作者的方法1.3AIM效果1.3.1AIM在K400
7个七·2023-06-15 00:29

【DL】LoRA的学习笔记

2源码学习2.1学习资料【视频】《[LLMs实践]04PEFT/LoRA源码分析》PEFT：由huggingface团队开发的参数高效微调（Parameter-EfficientFine-Tuning，
songyuc·2023-06-14 15:32

LLM：Prompt-Tuning微调新范式

背景Pre-training+Fine-tuning模式：先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trainedLanguageModel，PLM
-柚子皮-·2023-06-14 14:46

大模型微调开源项目整理||干货

liucongg/ChatGLM-Finetuning:基于ChatGLM-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning等(github.com)mymusise/ChatGLM-Tuning
思考实践·2023-06-14 12:21

RV1126 isp开发文档记录

Rockchip_IQ_Tools_Guide_ISP2x_v1.3.pdf主要介绍：RKISP2.xTuner(以下简称Tuner)提供了一套便于用户调试ISP参数的工具,用户可以在Tuner中对所有ISP模块开展标定(Calibration)、调试(Tuning
xian0gang·2023-06-14 11:41

LLM 大模型

namemodelweightsnoteLLaMA7B,13B,33B,65BVicunavicuna-7bVicunavicuna-13bAlpacaAlpaca-7B基于LLaMA，使用LoRA做Fine-Tuning
法海你懂不·2023-06-14 09:36

DEBERTA: DECODING-ENHANCED BERT WITH DIS- ENTANGLED ATTENTION glue榜首论文解读

概览二、详细内容abstracta.两个机制来improvebert和robertaⅰ.disentangledattentionmechanismⅱ.enhancedmaskdecoderb.fine-tuning
HxShine·2023-06-14 08:31

脚踩Midjourney、Stable Diffusion，谷歌StyleDrop真要杀疯了！

脚踩Midjourney、StableDiffusion，谷歌StyleDrop真要杀疯了导语StyleDrop组件MuseMuse架构Muse图像生成实现流程适配器微调AdapterTuningMuse
羽林小王子·2023-06-14 02:27

基于chatGLM-6B模型预训练，添加自己的数据集微调（linux版）（ptuning & lora）

目录准备工作安装7zptuning预训练ChatGLM-6B-Ptuning.7z懒人包下载上传文件并解压缩拉取依赖进行训练启动服务注意事项（揽睿星舟云算力平台）lora预训练chatGLM-All-In-One
小生浩浩·2023-06-13 15:22

ssbuild大佬的chatglm_finetuning项目---data_utils.py代码解读

#@Time:2023/1/2216:22#@Author:tk#@FileName:data_utils.pyimportcopyimportjsonimportosimportrandomimporttypingfromenumimportEnumimportnumpyasnpimporttorchfromdeep_training.data_helperimportDataHelper,Mo
柴多多·2023-06-13 15:20

ChatGLM-6B微调与部署

命令行Demo基于Gradio的网页版Demo基于Streamlit的网页版Demo基于peft框架的LoRA微调ChatGLM-6B配置环境与准备配置环境模型文件准备数据准备数据处理微调过程基于P-Tuningv2
dzysunshine·2023-06-13 15:48

对抗样本-（CVPR‘2021) 通过方差调优（Variance Tuning）提升对抗样本的迁移性

文章目录出处问题方法代码出处论文发表于CVPR2021论文地址：点击论文代码：点击问题背景：深度神经网络容易受到对抗样本的攻击，这些攻击通过不可察觉的扰动欺骗模型。解决的问题：虽然白盒攻击已经取得了惊人的成功率，但大多数现有的攻击在黑盒情况下往往表现出较弱的迁移性，特别是在攻击具有防御机制的模型时。提出的方法：在本文中，我们提出一种名为方差调整的新方法，来增强迭代梯度攻击方法的攻击迁移能力。具体而
算法黑哥·2023-06-13 12:01

[论文阅读73]Prefix-Tuning：Optimizing Continuous Prompts for Generation

1.基本信息题目论文作者与单位来源年份Prefix-Tuning：OptimizingContinuousPromptsforGenerationXiangLisaLi等StanfordUniversityAnnualMeetingoftheAssociationforComputationalLinguistics2021Citations1009
happyprince·2023-06-13 10:10

[论文阅读笔记74]The Power of Scale for Parameter-Efficient Prompt Tuning

1.基本信息题目论文作者与单位来源年份ThePowerofScaleforParameter-EffificientPromptTuningBrianLester等googleConferenceonEmpiricalMethodsinNaturalLanguageProcessing2021857Citations
happyprince·2023-06-13 10:10

[论文阅读笔记75]P-Tuning v2

1.基本信息题目论文作者与单位来源年份P-Tuningv2:PromptTuningCanBeComparabletoFine-tuningUniversallyAcrossScalesandTasksXiaoLiu
happyprince·2023-06-13 10:10

[论文阅读笔记76]GPT Understands, Too(P-tuning)

pdf/2103.10385.pdf论文代码：2.要点研究主题问题背景核心方法流程亮点数据集结论论文类型关键字微调大模型采用传统微调的gpt在自然语言理解（NLU）方面未能取得良好的效果，所以提出了P-tuning.LAMA
happyprince·2023-06-13 10:09

Prefix Tuning：详细解读Optimizing Continuous Prompts for Generation

DiffusionModels专栏文章汇总：入门与实战前言：大语言模型实在是太火了，各种技术日新月异，研究diffusionmodels的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗也非常恐怖，所以这就是做有效微调的初衷。为了研究清楚如何进行有效的大模型微调，我打算沿着AdapterTunin
沉迷单车的追风少年·2023-06-13 09:53

【基于PyTorch实现经典网络架构的花卉图像分类模型】

数据预处理工作2.1导入工具包2.2数据增强策略（DataAugmentation）2.3数据读入2.3.1训练集与验证集读入2.3.2json文件读入3.模型的建立与训练3.1迁移学习3.1.1微调（fine-tuning
星未漾~·2023-06-13 06:12

大模型LLM-微调经验分享&总结

模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。笔者也通过这三种方法，在信息抽取任务上，对ChatGLM-6B大模型进行模型微调。
思考实践·2023-06-13 05:33

【NAACL 2022】IDPG: An Instance-Dependent Prompt Generation Method 略读

论文代码Overview根据prompt-tuning的方法，针对句子对任务，我们构建如下输入：针对单句子的任务，我们构建如下输入：EEE表示单词的embedding，SSS表示句子。
--JinJIKIKO--·2023-06-13 00:59

【Coling 2022】Context-Tuning: Learning Contextualized Prompts for Natural Language Generation

如何根据上下文生成好的prompt？摘要近年来，预训练语言模型在语言生成方面取得了很大的成功。为了利用预训练语言模型中丰富的知识，一种简单而强大的范式是使用离散token形式或连续embedding形式的prompt。然而，在当前的研究中，这些prompt通常独立于输入，缺乏对于输入语义的充分考虑。为了解决问题，本文提出一种新颖的，基于连续embedding的prompt方法，即context-t
--JinJIKIKO--·2023-06-13 00:58

InstructGPT：Training language models to follow instructions with human feedback

Traininglanguagemodelstofollowinstructionswithhumanfeedback通过人类反馈的微调，在广泛的任务中使语言模型与用户的意图保持一致aligninglanguagemodelswithuserintentonawiderangeoftasksbyfine-tuningwithhumanfeedback
YingJingh·2023-06-12 17:11

【Huggingface系列学习】Finetuning一个预训练模型

文章目录ProcessingthedataLoadadatasetfromtheHubPreprocessingadatasetDynamicpaddingFine-tuningamodelwiththeTrainerAPITrainingEvaluationTrainer
长命百岁️·2023-06-12 17:04

BERT和Transformer理解及测试（三）

FINETUNNNG---分类&SQuAD的问题Googlefine-tuningwithbertBert-large的结果用12-16GB显存的GPU是无法复现结果的Bert-base的结果最少12GB
愿better·2023-06-12 13:42

论文阅读之Parameter-Efficient Transfer Learning for NLP（2019）

文章目录AbstractIntroductionAdaptertuningforNLPExperiments总结参考论文名称翻译过来就是“NLP的参数有效迁移学习”，其实就是是目前火热promptlearning
Icy Hunter·2023-06-12 08:55

035_SS_Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models

035_SSS_PromptTuningInversionforText-DrivenImageEditingUsingDiffusionModels1.Motivations&Arguments本文要利用
Artificial Idiots·2023-06-12 02:37

基于prefix tuning + Bert的标题党分类器

文章目录背景一、Prefix-Tuning介绍二、分类三、效果四、参阅背景近期,CSDN博客推荐流的标题党博客又多了起来,先前的基于TextCNN版本的分类模型在语义理解上能力有限,于是,便使用的更大的模型来优化
ToTensor·2023-06-11 21:33

【大模型】开源大模型汇总以及微调策略

LLaMAstanfordAlpacaGuanacoVicunaChinese-LLaMA-AlpacaChinese-VicunaLuotuo-ChineseFalconOpenBuddy-FalconChatGLM&&VisualGLMMOSSAquilaPandaGPTTigerBot模型微调策略LoRAQLORAP-tuningv2
桐原因·2023-06-10 16:29

大模型LLM-微调经验分享&总结

项目地址：https://github.com/liucongg/ChatGLM-FinetuningC
MrRoose·2023-06-10 16:44

基于VITS-fast-fine-tuning构建多speaker语音训练

1VITS模型介绍VITS（VariationalInferencewithadversariallearningforend-to-endText-to-Speech）是一种语音合成方法，它使用预先训练好的语音编码器(vocoder声码器)将文本转化为语音。VITS的工作流程如下：（1）将文本输入VITS系统，系统会将文本转化为发音规则。（2）将发音规则输入预先训练好的语音编码器(vocoder
AI医疗·2023-06-09 22:36

ChatGLM + PEFT 进行finetune

kingglory/ChatGLM-Efficient-Tuning一、前言1.1硬件需求注：r为LoRA维数大小，p为前缀词表大小，l为微调层数，ex/s为每秒训练的样本数。
桂花很香,旭很美·2023-06-09 11:53

ChatGLM-6B微调，P-Tuning，LoRA，Full parameter

【官方教程】ChatGLM-6B微调：P-Tuning，LoRA，Fullparameter_哔哩哔哩_bilibili我们详细介绍了GLM的技术背景，以及ChatGLM-6B的微调方案，包括P-tuning
Kun Li·2023-06-09 08:52

tensorflow实践—微调AlexNet

根据AlexNet模型做出微调https://kratzert.github.io/2017/02/24/finetuning-alexnet-with-tensorflow.html（原文出处）正文为黑色
Pierce_KK·2023-06-09 03:57

GPT 探索

实现方案自建专属模型根据自有数据源，把GPT训练成我们自用的模型，需要走微调（finetuning），目前gpt-3.5-turbo暂不开放微调，但用可以GPT3（text-davinci-003）的模型
python算法工程师·2023-06-08 21:59

Fine-Tuning Language Models from Human Preferences

PapernameFine-TuningLanguageModelsfromHumanPreferencesPaperReadingNotePaperURL:https://arxiv.org/pdf/
kebijuelun·2023-06-08 20:48

【奶奶看了都会】云服务器ChatGLM模型fine-tuning微调，让你拥有自己的知识库

1.背景大家好啊，上次给大家写了ChatGLM-6B的部署使用教程，【奶奶看了都会】云服务器部署开源ChatGLM-6B，让你拥有自己的ChatGPT但是因为模型比较小的问题，所以日常工作中可能用不上。而且大家更希望的是模型能训练自己的数据，为自己服务。比如：公司内部用自己的知识库数据进行微调，训练成内部知识问答机器人，这样对于各种业务问题答疑，机器人立马就能给出对应的答案，比单纯的问题搜索好太多
卷福同学·2023-06-08 07:55

ChatGLM服务器部署微调（二）

ChatGLM服务器部署微调（二）修改train.sh修改evaluate.sh训练评估结果对比问题待解决修改train.sh修改train_file比如我的结构为原本ptuning下面建一个bz_tq
丁不瓦·2023-06-08 07:16

多线程与高并发cas问题

由操作系统源语保证的不会v==m）m++}其实无所的操作的原理是乐观锁对比测试syncLong、AtomicLong、LongAdder三种count++的方式的速度packagecom.zkj.mca.LockTuning
lfssst·2023-06-08 04:17

确定Oracle SQL语句性能瓶颈

9.1.分析Cost方法9.1.1.方法说明SQL调优（SQLTUNING），就是在SQL语句执行计划中，发现浪费大量系统资源的节点，然后，想办法降低该节点对系统资源的消耗，以使其不再浪费系统资源。
lhdz_bj·2023-06-07 17:04

基于 ChatGLM-6B 搭建个人专属知识库

ChatGLM-6B部署与P-Tuning微调实战今天树先生教大家无需微调就能实现垂直领域的专业问答，利用ChatGLM-6B+lang
程序员树先生·2023-06-07 16:47

BERT网络的原理与实战

BERT网络的原理与实战一、简介二、原理1.Transformer2.BERT2.1MLM2.2NSP3.Fine-tuning三、实战1.数据集2.预处理3.模型训练一、简介BERT（BidirectionalEncoderRepresentationsfromTransformers
CyrusMay·2023-06-07 14:07

【科研小小白的神经网络Day3】什么是超参数？阅读优化函数时遇到的疑问

超参数：也是机器学习算法中的调优参数（tuningparameters）或框架参数，模型外部的配置，不需要数据来驱动，而是在训练前或者训练中人为进行设定和调整，一般需要为它根据已有或现有的经验指定“正确
imblackcat·2023-06-07 12:52

清华Decoder Tuning方法提升大模型few-shot场景效果

一、概述title：DecoderTuning:EfficientLanguageUnderstandingasDecoding论文地址：https://arxiv.org/abs/2212.08408
HxShine·2023-06-07 10:24

ACL2022 | 大模型微调哪家好？小孩子才做选择，成年人当然是全都要

一、概述title：UNIPELT:AUnifiedFrameworkforParameter-EfficientLanguageModelTuning论文地址：https://arxiv.org/abs
HxShine·2023-06-07 10:23

EMLP2021 ｜ Google大模型微调经典论文prompt tuning

一、概述title：ThePowerofScaleforParameter-EfficientPromptTuning论文地址：https://arxiv.org/abs/2104.08691代码：GitHub-google-research
HxShine·2023-06-07 10:23
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他