Tuning

Muse: 谷歌基于Transformer的文生图模型

Pre-trainedTextEncoders2.2.SemanticTokenizationusingVQGAN2.3.BaseModel2.4.Super-ResolutionModel2.5.DecoderFinetuning2.6
猴猴猪猪·2023-09-08 02:31

[AI]算法小抄-总结大模型微调方式

细节的说明想要建构属于自己应用或特定垂直领域的大模型，除了类似LangChain,TaskMatrix.AI使用Prompt工程的方式，微调(Finetunning)是更可控且可以持续迭代的方式，预训练语言模型(PLM)+Finetuning
AlgorithmWillBeFine·2023-09-07 16:03

Fine-tuning Large Enterprise Language Models via Ontological Reasoning

本文是LLM系列文章，针对《Fine-tuningLargeEnterpriseLanguageModelsviaOntologicalReasoning》的翻译。
UnknownBody·2023-09-06 19:31

自然语言处理 微调ChatGLM-6B大模型

自然语言处理微调ChatGLM-6B大模型1、GLM设计原理2、大模型微调原理1、P-tuningv2方案2、LORA方案1、GLM设计原理bert的主要任务是随机的去除掉某个单词，使用上下文将其预测出来
郭庆汝·2023-09-06 17:43

multimodal efficient tuning

MultimodalFew-ShotLearningwithFrozenLanguageModels论文想要将单模态few-shot的能力转化为多模态场景下，提出了Frozen的框架。该框架的具体做法是将图片encoder训练到wordembedding的空间当中，ModularandParameter-EfficientMultimodalFusionwithPrompting提出了pomptf
zclfe·2023-09-05 12:02

chatgpt fine-tuning 官方文档

Fine-tuningLearnhowtocustomizeamodelforyourapplication.IntroductionThisguideisintendedforusersofthenewOpenAIfine-tuningAPI.Ifyouarealegacyfine-tuninguser
javastart·2023-09-05 10:54

朴素，word，任何参考文献导入endnote

朴素，word，任何参考文献导入endnote注意：对于以下这几种不做阐述，看其他帖子都有讲述：这里的参考文献指的是类似于：[1].LiY,LuY,HuoX,etal.Bandgaptuningstrategybycationsandhalideionsofleadhalideperovskiteslearnedfrommachinelearning
水无垠ZZU·2023-09-05 06:07

Prompt tuning

转载自：NLP新宠——浅谈Prompt的前世今生_zenRRan的博客-CSDN博客0.NLP新宠——浅谈Prompt的前世今生0.1Prompt的产生和兴起近几年来，有关预训练语言模型（PLM）的研究比比皆是，自然语言处理（NLP）也借着这股春风获得了长足发展。尤其是在2017-2019年间，研究者们的重心逐渐从传统task-specific的有监督模式转移到预训练上。基于预训练语言模型的研究思
夜空霓虹·2023-09-05 05:37

提示学习 | Prompt-Tuning这么好用？

干货作者：十方来自：炼丹笔记使用prompts去调节预训练模型处理文本分类任务在小样本上已经取得了比直接finetuning模型更好的效果，prompt-tuning的核心思想就是嵌入一小段文本，比如对于文本分类任务
zenRRan·2023-09-05 05:05

The Power of Scale for Parameter-Efficient Prompt Tuning及prefix tuning与prompt tuning的区别

1.本文贡献（1）提出prompttuning，并在大型语言模型领域展示其与modeltuning(finetuning)的竞争力；（2）减少了许多设计选择，显示质量和鲁棒性随着规模的增加而提高。
BBBBBAAAAAi·2023-09-05 05:05

详解大模型微调方法Prompt Tuning(内附实现代码)

PromptTuning是现在大模型微调方法中的一种常用方法，本文通过解读5篇论文来了解PromptTuning方法演进的过程。
MLTalks·2023-09-05 05:34

Visual Prompt Tuning

Abstract在此之前的调整预训练模型的方法是fullfine-tuning，即完全微调。VPT（VisualPromptTuning）是一种有效的用于大规模Transformer的视觉微调。
可莉害了呢·2023-09-05 05:03

Prompt Tuning训练过程

-知乎Promptlearning系列之promptengineering(二)离散型prompt自动构建Promptlearning系列之训练策略篇-知乎ptuningv2的chatglm垂直领域训练记录
tiki_taka_·2023-09-05 05:02

关于大模型参数微调的不同方法

AdapterTuning适配器模块（AdapterMoudle）可以生成一个紧凑且可扩展的模型；每个任务只需要添加少量可训练参数，并且可以在不重新访问之前任务的情况下添加新任务。
银晗·2023-09-04 21:47

付费搞来的！知乎内部AI学习资源，本号粉丝限时免费！

直播时间8月31日晚20:00直播内容大模型的发展历程与训练方法解析AI技术应用场景如何用LangChain、Fine-tuning定制你的专属大模型应用借助大模型技术提高收入的可能性……直播方式2天直播
Tony Bai·2023-09-04 21:11

Fine-Tuning with Brain:

UnlockingthePotentialofNeuralNetworkModelsIntroduction:Thefieldofartificialintelligencehaswitnessedremarkableadvancementsinrecentyears,particularlyinthedomainofneuralnetworkmodels.Oneintriguingconcept
卢延吉·2023-09-04 08:48

BERT论文解读: Pre-training of Deep Bidirectional Transformers for Language Understanding（2018）

论文同时也进行了模型下游任务训练时feature-based和fine-tuning的对比分析。BERT模型的测试结果，有几个重要结论和启
响尾大菜鸟·2023-09-03 08:14

大语言模型之七- Llama-2单GPU微调SFT

详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb在上一篇博客提到两种改进预训练模型性能的方法Retrieval-AugmentedGeneration(RAG
shichaog·2023-09-03 06:18

线下活动丨Big Model Meetup 第1期：大模型Prompt Tuning技术，8场学术报告和Poster展示...

「BigModelMeetup」系列活动是由智源研究院悟道团队、青源会、清华大学计算机科学与技术系博硕论坛、中国中文信息学会青年工作委员会共同组织，智源社区提供社区支持，PaperWeekly提供媒体支持。该系列活动旨在建设“大模型”研究和应用的“技术社区”，推动国内大模型技术的交流与发展，打造相关专家学者、爱好者深度的交流分享平台。BMMeetup第一期以大模型微调技术为主题，于2021年10月
PaperWeekly·2023-09-03 03:02

【人工智能】—_深度神经网络、卷积神经网络（CNN）、多卷积核、全连接、池化

多卷积核、全连接、池化)深度神经网络训练训练深度神经网络参数共享卷积神经网络（CNN）卷积多卷积核卷积全连接最大池化卷积+池化拉平向量激活函数优化小结深度神经网络训练Pre-training+Fine-tuningPre-training
Runjavago·2023-09-02 11:38

19篇论文速览大模型微调技术进展与热门方法

目前较为流行的大模型微调技术是PEFT(Parameter-EfficientFineTuning)，只对部分的参数进行训练，主要有PromptTuning、PrefixTuning、L
深度之眼·2023-09-02 07:52

myql5.7.7优化配置参数

#Otherdefaulttuningvalues#MySQLServerInstanceConfigurationFile#--------------------------------------
诀窍的心灵·2023-09-01 11:53

景联文科技：高质量AI数据标注助力大语言模型训练，推动人工智能落地应用

大语言模型在各类LLM新技术的融会贯通下，不断加速Instruction-tuning、RLHF、思维链等新技术在大语言模型中的深度应用，人工智能技术以惊人的速度不断进化。
景联文科技·2023-09-01 10:20

DP读书：鲲鹏处理器 架构与编程（十四）ACPI与软件架构具体调优

DependencyAdvisor鲲鹏代码迁移工具PortingAdvisor鲲鹏软件性能调优鲲鹏软件性能调优流程CPU与内存子系统性能调优网络子系统性能调优磁盘I/O子系统性能调优应用程序性能调优基础软件性能调优鲲鹏性能优化工具TuningKit
DarrenPig·2023-09-01 07:57

分类算法系列③：模型选择与调优 (Facebook签到位置预测)

目录模型选择与调优1、介绍模型选择（ModelSelection）：调优（HyperparameterTuning）：本章重点2、交叉验证介绍为什么需要交叉验证数据处理3、⭐超参数搜索-网格搜索(GridSearch
逐梦苍穹·2023-09-01 07:54

重磅！GPT-3.5 Turbo推出微调功能，可以打造专属ChatGPT啦！

大语言模型的微调（Fine-tuning）是一种在预训练模型的基础上，对特定任务进行深度训练的方法。微调的基本思想是，先在大规模文本数据上预训练一个大型的语言模型，例如，GPT-3.
成事指南·2023-08-31 22:07

Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning

本文是LLM系列文章，针对《RelationExtractionasOpen-bookExamination:Retrieval关系提取作为开卷测试：检索增强提示调整摘要1引言2方法3实验4相关工作5结论摘要经过预训练的语言模型通过表现出显著的小样本学习能力，对关系提取做出了重大贡献。然而，用于关系提取的提示调优方法可能仍然无法推广到那些罕见或困难的模式。注意，以前的参数学习范式可以被视为将训练数
UnknownBody·2023-08-31 21:55

Multitask Vision-Language Prompt Tuning

本文是LLM系列文章，针对《MultitaskVision-LanguagePromptTuning》的翻译。
UnknownBody·2023-08-31 09:34

2023大型语言模型推荐技术进展综述: 分类、进展、问题、趋势.

2305.19860.pdfASurveyonLargeLanguageModelsforRecommendation文章目录内容摘要1.内容引言2.LLM推荐建模范式3.用于推荐的判别式LLM3.1微调（Fine-tuning
山科智能信息处理实验室·2023-08-31 05:59

kernel: TCP: out of memory -- consider tuning tcp_mem 问题处理记录

问题：1、通过/var/log/messages定位到原因，大概意思是TCP发送缓冲区满了2、查看其默认tcp_mem配置：解决办法：1、vim/etc/sysctl.conf加入以下内容即可net.core.netdev_max_backlog=30000net.core.rmem_max=134217728net.core.wmem_max=134217728net.ipv4.tcp_mem=
123，夏天·2023-08-31 04:09

[LLM] 大模型训练

微调：工具：https://github.com/huggingface/peft对chatGLM微调：https://github.com/hiyouga/ChatGLM-Efficient-Tuning
风可。·2023-08-31 04:23

Pfile和Spfile配置解释(转载)

CertainfilesinthedatabasecancompletelychangethewayyourOracle12cdatabasebehaves.Theycaninfluenceeverythingfromperformanceandtuningaswellastroubleshooting.Maintainingandconfiguringthese
Bean_Do·2023-08-30 16:18

ibverbs文档翻译

product_family=26&mtag=linux_sw_drivers文档列表ProductBriefRDMAAwareNetworksProgrammingUserManualPerformanceTuningGuideforMellanoxNetworkAdapte
QiangLi_strong·2023-08-28 23:41

关于 Camera 产品的功能分析

1、问题背景通过最近做的一些项目，发现Tuning一款Camera产品前，要考虑到的事情有很多，不是简单的点亮，按要求调完效果就结束了。从目前的经验来看，准备工作做的越充分，后期遇到的问题也就越少。
木 东·2023-08-28 20:43

ISP调试流程概述

概要：本文主要是整理了一下，关于isp效果调试的工作中，我们平常在接到一个项目任务时，一般都需要做哪些事情；首先我们要明白，作为一个合格的tuning工程师，在调测一款相机的效果时，是需要从整个成像系统来考虑图像质量
木 东·2023-08-28 20:42

Instruction Tuning for Large Language Models: A Survey

本文是LLM系列文章，针对《InstructionTuningforLargeLanguageModels:ASurvey》的翻译。
UnknownBody·2023-08-28 11:09

Adapter Tuning Overview：在CV，NLP，多模态领域的代表性工作

文章目录DeltaTuningAdapterTuninginCVAdapterTuninginNLPDeltaTuningAdapterTuninginCV题目:Learningmultiplevisualdomainswithresidualadapters
猴猴猪猪·2023-08-28 05:52

zabbix的优化

zabbix的优化zabbixperformancetuningnvps：NewValuePerSecond100w/m15000/s1、zabbix服务器进程数量调整配置文件中：StartPollers
任总·2023-08-28 02:07

【大模型】基于 LlaMA2 的高 star 的 GitHub 开源项目汇总

大模型】基于LlaMA2的高star的GitHub开源项目汇总Llama2简介开源项目汇总NO1.FlagAlpha/Llama2-ChineseNO2.hiyouga/LLaMA-Efficient-TuningNO3
szZack·2023-08-27 19:48

LLMs多任务指令微调Multi-task instruction fine-tuning

多任务微调是单任务微调的扩展，其中训练数据集包括多个任务的示例输入和输出。在这里，数据集包含指导模型执行各种任务的示例，包括摘要、评论评分、代码翻译和实体识别。您在这个混合数据集上训练模型，以便它可以同时提高模型在所有任务上的性能，从而避免灾难性遗忘的问题。经过多次迭代的训练，使用示例计算的损失用于更新模型的权重，从而产生一个已经学会如何同时擅长多种不同任务的指导模型。多任务微调的一个缺点是它需要
AI架构师易筋·2023-08-27 09:13

Prompt Tuning 和instruct tuning

PromptTuning是啥？prompt的思想是，把下游任务的输入转化为预训练模型的原始任务。以bert作为举例，假设任务是文本分类。“今天天气很好。”
泯灭XzWz·2023-08-26 10:04

【LLM大模型】模型和指令微调方法

noteHuggingFace的PEFT是一个库（LoRA是其支持的技术之一，除此之外还有PrefixTuning、P-Tuning、PromptTuning），可以让你使用各种基于Transformer
u013250861·2023-08-25 07:16

【论文阅读】定制化diffusion微调: DreamBooth原理

论文：DreamBooth:FineTuningText-to-ImageDiffusionModelsforSubject-DrivenGeneration项目：DreamBooth:FineTuningText-to-ImageDiffusionModelsforSubject-DrivenGeneration
orangerfun·2023-08-24 20:09

解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题

因此，在这个项目下我们参考ChatGLM-Tuning的代码，尝试对大模型ChatGLM-6B进行Fin
汀、人工智能·2023-08-24 12:31

LLM低成本微调方法

这里介绍三种主流方法：冻结，P-tuning，QLoRA。
tzc_fly·2023-08-24 08:01

大模型微调之P-tuning方法解析

转载：原文链接：大模型微调之P-tuning方法解析Part1前言Bert时代，我们常做预训练模型微调（Fine-tuning），即根据不同下游任务，引入各种辅助任务loss和垂直领域数据，将其添加到预训练模型中
qq_41771998·2023-08-23 20:25

解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题

因此，在这个项目下我们参考ChatGLM-Tuning的代码，尝试对大模型ChatGLM-6B进行Fin
·2023-08-23 18:55

解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题

因此，在这个项目下我们参考ChatGLM-Tuning的代码，尝试对大模型ChatGLM-6B进行Fin
·2023-08-23 18:53

自然语言处理：大语言模型入门介绍

自然语言处理：大语言模型入门介绍语言模型的历史演进大语言模型基础知识预训练Pre-traning微调Fine-Tuning指令微调InstructionTuning对齐微调AlignmentTuning
cv-player·2023-08-23 10:10

Instruction finetuning

Instructionfinetuning---T5，ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformer，2019arxivhttps
apche CN·2023-08-22 18:16
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他