tuning

MiniMind

SFT数据：SFT（SupervisedFine-Tuning）数据集，用于监督式微调，可以提高模型在特定任务上的性能。DPO数据1和DPO数据2：这两个数
亚伯拉罕·黄肯·2025-03-22 14:46

【大模型系列】SFT（Supervised Fine-Tuning，监督微调）

欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,
Kwan的解忧杂货铺@新空间代码工作室·2025-03-22 02:20

一、大语言模型微调 vs. 大语言模型应用

一、大语言模型微调vs.大语言模型应用1.微调（Fine-Tuning）的含义与特点定义与作用微调指在预训练好（通用）的基础模型上，通过在特定领域或任务的数据集上进一步训练来调整模型参数，使其在该领域任务中获得更优表现
AI Echoes·2025-03-21 13:54

模型微调：让AI更懂你的魔法棒

模型微调：让AI更懂你的魔法棒✨在人工智能的世界里，模型微调（Fine-tuning）就像是一位魔法师用魔法棒对预训练模型进行“个性化改造”，让它更适应特定的任务。
带上一无所知的我·2025-03-20 14:10

部署微调框架LLaMA-Factory

ChatGLM3的github官方页面上能看到对LLaMA-Factory的推荐2.LLaMAFactorygithub链接hiyouga/LLaMA-Factory:UnifyEfficientFine-Tuningof100
高原魔女·2025-03-18 00:40

论文阅读笔记——QLORA: Efficient Finetuning of Quantized LLMs

QLoRA论文4-bit标准浮点数量化常见的量化技术是最大绝对值量化：XInt8=round(127absmax(XFP32)XFP32)=round(cFP32,XFP32)式(1)X^{Int8}=round(\frac{127}{absmax(X^{FP32})}X^{FP32})=round(c^{FP32},X^{FP32})\qquad\qquad\text{式(1)}XInt8=ro
寻丶幽风·2025-03-16 08:15

LLaMA-Factory 训练数据默认使用 instruction、input、output 三个 key

在LLaMA-Factory进行SFT（Directivesupervisionfine-tuning指令监督微调）时，训练数据的格式非常重要，因为大模型依赖标准化的数据结构来学习指令-响应模式。
背太阳的牧羊人·2025-03-16 08:43

大语言模型微调和大语言模型应用的区别？

1.基本概念微调（Fine-tuning）定义：微调是指在预训练大语言模型的基础上，通过在特定领域或任务的数据上进一步训练，从而使模型在该特定任务上表现更优。
AI Echoes·2025-03-15 05:38

大语言模型微调和大语言模型应用的区别？

1.定义与目标微调（Fine-tuning）目标：调整预训练模型（如GPT、LLaMA、PaLM）的参数，使其适应特定任务或领域。
AI Echoes·2025-03-15 04:34

Common Solder Defects and Root Cause Analysis

ofallsolderdefectscanbetracedbacktotheprintingdefectssuchassolderbridging,coldslumpandUnevenSolderPasteDepositwhilefinetuningthereflowprofiledobenefitandavoidsome
px5213344·2025-03-14 16:18

大模型高效优化技术全景解析：微调、量化、剪枝、梯度裁剪与蒸馏

目录微调（Fine-tuning）量化（Quantization）剪枝（Pruning）梯度裁剪（GradientClipping）知识蒸馏（KnowledgeDistillation）技术对比与协同策略总结与趋势
时光旅人01号·2025-03-14 15:40

【漫话机器学习系列】137.随机搜索（Randomized Search）

随机搜索（RandomizedSearch）详解在机器学习和深度学习的模型训练过程中，超参数调优（HyperparameterTuning）是至关重要的一环。
IT古董·2025-03-14 12:50

大语言模型（LLM）的微调与应用

一、微调与应用的核心区别目标差异微调（Fine-tuning）：针对预训练模型进行参数调整，使其适应特定任务或领域（如医疗问答、法律文本分析）。
AI Echoes·2025-03-13 03:50

LLM大模型技术实战6：一文总结大模型微调方法

用好大模型的第一个层次，是掌握提示词工程(PromptEngineering)用好大模型的第二个层次，是大模型的微调(FineTuning)，这也是今天这篇文章的主题。为什么要对大模型
AIG暴躁猫叔·2025-03-12 22:16

Adapter-Tuning：高效适配预训练模型的新任务

然而，Fine-Tuning这些大型模型通常需要大量计算资源，并且每个新任务都需要存储一套完整的微调权重，这导致存储成本高昂。
花千树-010·2025-03-12 22:15

【模型调优的深入分析与Python实践】

模型调优的深入分析与Python实践一、模型调优的定义与目标模型调优（ModelTuning）是通过系统化调整机器学习模型的超参数和结构参数，使模型在特定数据集上达到最佳性能的过程。
蝉叫醒了夏天·2025-03-12 15:30

“大语言模型微调”（Fine-tuning）与“大语言模型应用”（LLM Applications）之间的区别

方法：可以是全参数微调，也可以采用参数高效微调（如LoRA、Adapter、PrefixTuning等），后者只调整部分参数而保持原有权重
AI Echoes·2025-03-11 09:06

如何对大模型进行微调？从原理到实战全解析

随着大语言模型（LLM）的快速发展，微调（Fine-tuning）已成为将通用模型转化为垂直领域专家的核心技术。
挣扎与觉醒中的技术人·2025-03-11 05:32

Bert学习笔记

问题：预训练任务与微调任务不一致原因：在finetuning期间从未看到[MASK]token，预训练和finetunin
缓释多巴胺。·2025-03-07 09:05

llama-factory 记录

GitHub-hiyouga/LLaMA-Factory:UnifiedEfficientFine-Tuningof100+LLMs&VLMs(ACL2024)安装gitclonehttps://github.com
嘟嘟Listing·2025-03-07 08:31

LLaMA-Factory使用命令

Weprovidediverseexamplesaboutfine-tuningLLMs.MakesuretoexecutethesecommandsintheLLaMA-Factorydirectory.TableofContentsLoRAFine-TuningQLoRAFine-TuningFull-ParameterFine-TuningMergingLoRAAdaptersandQuan
asd8705·2025-03-06 23:54

微调（Fine-tuning）

微调（Fine-tuning）是自然语言处理（NLP）和深度学习中的一种常见技术，用于将预训练模型（Pre-trainedModel）适配到特定任务上。
路野yue·2025-03-04 20:49

llama_factory微调QWen1.5

GitHub-hiyouga/LLaMA-Factory:UnifyEfficientFine-Tuningof100+LLMsUnifyEfficientFine-Tuningof100+LLMs.Contributetohiyouga
Kun Li·2025-03-03 02:50

前言：什么是大模型微调

大模型微调（Fine-tuning）是指在预训练模型的基础上，针对特定的任务或数据集进行进一步训练的过程。预训练模型通常在大规模的通用数据上训练，具备广泛的语言理解和生成能力。
伯牙碎琴·2025-02-28 04:26

Python微调DeepSeek-R1-Distill-Qwen-1.5B模型：使用Transformers和PyTorch进行训练

为了让这些模型更加适应特定任务，我们通常会进行微调（Fine-tuning）。
煤炭里de黑猫·2025-02-25 21:02

大语言模型训练数据集格式

1.SFT（有监督微调）的数据集格式对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落
香菜烤面包·2025-02-23 16:13

大模型训练 && 微调数据格式

对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落。
comli_cn·2025-02-23 16:43

【深度学习】预训练和微调概述

预训练和微调概述1.预训练和微调的介绍1.1预训练（Pretraining）1.2微调（Fine-Tuning）2.预训练和微调的区别预训练和微调是现代深度学习模型训练中的两个关键步骤，它们通常是一个预训练
CS_木成河·2025-02-21 22:35

GPT (Generative Pre-trained Transformer)

GPT模型通过大规模无监督预训练，使用大量的文本数据进行学习，然后再进行微调（fine-tuning）来适应具体的下游任务。
彬彬侠·2025-02-20 19:07

Hyperparameter Tuning 原理与代码实战案例讲解

HyperparameterTuning原理与代码实战案例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：超参数调优，模型选择，性能提升，代码实战
AGI大模型与大数据研究院·2025-02-18 22:03

【大模型】数据集构造方式

1.Alpaca数据格式Alpaca数据格式最早由StanfordAlpaca项目提出，目的是用来微调大语言模型（LLM），特别是用于InstructionTuning（指令微调）。
油泼辣子多加·2025-02-18 22:02

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别STF（SupervisedFine-Tuning）和RLHF（ReinforcementLearningfromHumanFeedback）
钟小宇·2025-02-18 18:11

sql server 跟踪存储过程

使用sqlserverprofile跟踪，选择模板Tuning，筛选列spid，选择执行的spid
woshilys·2025-02-18 00:41

一、大模型微调的前沿技术与应用

大模型微调的前沿技术与应用随着大规模预训练模型（如GPT、BERT、T5等）的广泛应用，大模型微调（Fine-Tuning,FT）成为了提升模型在特定任务中性能的关键技术。
伯牙碎琴·2025-02-16 20:31

大语言模型常用微调与基于SFT微调DeepSeek R1指南

概述大型语言模型（LLM，LargeLanguageModel）的微调（Fine-tuning）是指在一个预训练模型的基础上，使用特定领域或任务的数据对模型进行进一步训练，以使其在该领域或任务上表现更好
知来者逆·2025-02-16 16:08

LLM大模型中文开源数据集集锦（三）

文章目录1ChatGLM-Med:基于中文医学知识的ChatGLM模型微调1.1数据集1.2ChatGLM+P-tuningV2微调1.3Llama+Alpaca的Lora微调版本2LawGPT_zh：
悟乙己·2025-02-14 13:01

如何微调（Fine-tuning）大语言模型？看完这篇你就懂了！！

什么是微调（fine-tuning）？微调能解决什么问题？什么是LoRA？如何进行微调？本文将解答以上问题，并通过代码实例展示如何使用LoRA进行微调。
datian1234·2025-02-13 23:05

【深度学习】常见模型-GPT（Generative Pre-trained Transformer，生成式预训练 Transformer）

它能够通过大量无监督数据预训练，然后微调（Fine-tuning）以适应特
IT古董·2025-02-13 16:15

Dav_笔记12：Automatic SQL Tuning 之 3 SQL-Tuning

使用SQLTuningAdvisor进行无限调优您可以手动调用SQLTuningAdvisor以按需调整一个或多个SQL语句。要调整多个语句，必须创建SQL调优集（STS）。
Dav_2099·2025-02-13 14:03

一文读懂RAG

的特点四、基础RAG架构数据准备阶段应用阶段：五、RAG分类基础RAG(NaiveRAG)缺点高级RAG(AdvancedRAG)模块化RAG(ModularRAG)六、RAG(检索增强生成)vsFine-Tuning
wangziling123456·2025-02-12 22:58

Kamailio(OPENSER) 3.1.x INSTALL

cdsrcgitclone--depth1git://git.sip-router.org/sip-routerkamailiocdkamailiogitcheckout-b3.1origin/3.12,TuningMakefilesmakeFLAVOUR
gangban_lau·2025-02-12 19:03

大模型入门（六）—— RLHF微调大模型

一、RLHF微调三阶段参考：https://huggingface.co/blog/rlhf1）使用监督数据微调语言模型，和fine-tuning一致。
LLM.·2025-02-10 23:17

【oracle 学习路线图】

www.cnblogs.com/tango-dg/p/3771768.html初级阶段：可以从OCP教材开始，还有文档中的Administrator'sGuide、Concepts、PerformanceTuningGuide
Larry Chow·2025-02-09 21:37

接入deepseek构建RAG企业智能问答系统

让AI大模型“学习”业务知识的两种主要方法：微调（Fine-Tuning）：在预训练模型基础上根据特定任务和数据集调整参数。
da pai ge·2025-02-09 16:08

大模型(LLM)微调并不复杂，数据才是关键：3个实例详解数据准备

今天咱们聊聊一个听起来很高大上的词——微调（Fine-Tuning）。听说过吗？
程序员二飞·2025-02-08 01:21

【机器学习】机器学习重要方法——迁移学习：理论、方法与实践

文章目录迁移学习：理论、方法与实践引言第一章迁移学习的基本概念1.1什么是迁移学习1.2迁移学习的类型1.3迁移学习的优势第二章迁移学习的核心方法2.1特征重用（FeatureReuse）2.2微调（Fine-Tuning
E绵绵·2025-02-06 22:52

【大模型LLM面试合集】训练数据_数据格式

对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落。
X.AI666·2025-02-06 18:28

LLM 算法工程师的速成指南：微调、强化学习微调与偏好微调

OpenAI近期在直播中，提到了两个新的概念：①强化学习微调（ReinforcementFine-Tuning）：仅需少量高质量数据（数十到数千个），模型即可通过强化学习处理复杂任务。
大模型玩家·2025-02-05 16:24

【漫话机器学习系列】079.超参数调优（Hyperparameter Tuning）

超参数调优（HyperparameterTuning）是机器学习中优化模型性能的重要步骤之一。超参数是模型在训练之前设定的参数，而不是通过训练数据学习到的参数。
IT古董·2025-02-04 11:44

AI模型升级版0.02

同时，我会结合最新的技术趋势，例如强化微调（ReinforcementFine-Tuning），来提升模型的性能。步骤1：安装必要的库首先，确保您的Windows系统上安装了Python（推荐Pyth
pps-key·2025-02-03 02:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他