qlora微调第6页

EMNLP 2017 北京论文报告会笔记

第一部分写我最喜欢的论文，第二部分总结一些以模型融合为主要方法的论文，第三部分总结一些对模型组件进行微调的论文，第四部分是类似旧瓶装

ljtyxl·2025-06-03 12:05

强化学习-深度学习和强化学习领域

GRPO（可能指Gradient-basedPolicyOptimization或ReinforcementLearningwithPolicyOptimization）是两种不同的训练范式，常用于模型微调或策略优化

高效匠人·2025-06-03 04:38

大语言模型生成式AI学习笔记——2. 1.4LLM指令微调——多任务指令微调

Multi-taskinstructionfine-tuning（多任务指令微调）Multitaskfine-tuningisanextensionofsingletaskfine-tuning,wherethetrainingdatasetiscomprisedofexampleinputsandoutputsformultipletasks.Here

预见未来to50·2025-06-02 23:57

AIGC领域Stable Diffusion的模型微调方法与实践

AIGC领域StableDiffusion的模型微调方法与实践关键词：StableDiffusion、模型微调、AIGC、深度学习、生成对抗网络、文本到图像生成、迁移学习摘要：本文系统解析StableDiffusion

AI大模型应用工坊·2025-06-01 10:02

Prompt Tuning与自然语言微调对比解析

PromptTuning与输入提示词自然语言微调的区别和联系一、核心定义与区别维度PromptTuning（提示微调）输入提示词自然语言微调本质优化连续向量空间中的提示嵌入（不可直接阅读）优化离散自然语言文本

ZhangJiQun&MXP·2025-05-31 18:39

《重新定义高效微调：QLoRA 4位量化的颠覆式创新解析》

在深入了解QLoRA之前，我们先回顾一下传统大模型微调面临的严峻挑战。传统的大模型微调，随着模型规模的不断扩大，参数量呈指数级增长，这使得模型在内存需求和计算资源上的消耗变得极为庞大。

程序猿阿伟·2025-05-31 17:34

【大模型】情绪对话模型项目研发

一、使用框架：Qwen大模型后端+Open-webui前端实现使用LLamaFactory的STF微调数据集，vllm后端部署，二、框架安装下载千问大模型安装魔塔社区库文件pipinstall modelscopeDownload.py

SSH_5523·2025-05-31 14:16

【论文阅读】Federated Large Language Model : A Position Paper

联邦大模型的两种学习方式两种非常直观的方法：一种是从头训练，一种是利用私有数据集进行微调。优劣也非常直观：第一种方法允许特定任务的模型

只说人话绝不装逼·2025-05-31 07:55

17、Swift框架微调实战（2）-QWQ-32B LORA微调cot数据集

相比于传统的指令微调（instruction-tuned）模型，QwQ具备思考与推理（thinkingandreasoning）的能力，因此在各种下游任务（特别是复杂问题）上，能实现显著的性能提升。

Andy_shenzl·2025-05-31 02:14

23、Swift框架微调实战（3）-Qwen2.5-VL-7B LORA微调OCR数据集

一、模型介绍Qwen2.5-VL是阿里通义千问团队开源的视觉语言模型，具有3B、7B和72B三种不同规模，能够识别常见物体、分析图像中的文本、图表等元素，并具备作为视觉Agent的能力。Qwen2.5-VL具备作为视觉Agent的能力，可以推理并动态使用工具，初步操作电脑和手机。在视频处理上，Qwen2.5-VL能够理解超过1小时的长视频，精准定位相关片段捕捉事件。模型还支持发票、表单等数据的结构

Andy_shenzl·2025-05-31 02:43

【自然语言处理与大模型】大模型（LLM）基础知识⑤

技术层面：技术手段描述强化学习与指令微调通过强化学习（如RLHF）或指令微调，让模型更倾向于生成合规、

小oo呆·2025-05-31 01:42

一文读懂Vision Transformer图像分类原理与实现

本文将详细探讨Transformer架构在图像分类中的微调，即VisionTransformer（ViT）的工作原理、重要细节以及具体实现。

t0_54program·2025-05-31 01:40

中科院提出ConRFT：让机器人灵活穿针，强化学习微调！

从数据层面来看，基于监督学习的微调方式高度依赖演示数据的数量与质量。但在现实场景里，这些数据往往存在局限，数据量有限且一致性差，难以涵盖机器人可能遭遇的各种复杂状态。

xwz小王子·2025-05-30 21:39

大模型现象级发现-2025年上半年资料收集

大模型微调会思考的大模型更不听话，我的豆包失控了…WhenThinkingFails:ThePitfallsofReasoningforInstruction-

CSPhD-winston-杨帆·2025-05-30 15:51

vmware安装win10

win10系统有生物识别技术、Cortana搜索功能、平板模式、桌面应用、多桌面、开始菜单进化、任务切换器、任务栏的微调、贴靠辅助、通知中心、命令提示符窗口升级、文件资源管理器升级、新的Edge浏览器、

2501_92223294·2025-05-30 13:41

DPO（Direct Preference Optimization）详解

应用背景：替代PPO实现RLHF微调流程不需要训练Reward

要努力啊啊啊·2025-05-30 10:18

分享全国数字人才技能提升师资培训班第五期邀请函

线下（广州班）：大模型与AIGC多模态技术应用实战线下（青岛班）：Deepseek教学应用与智能体开发实战线上班（十二大专题）：DeepSeek大模型教学应用实战大模型与AIGC技术应用实战大模型部署与微调实战

泰迪智能科技01·2025-05-29 18:46

【大模型基础_毛玉仁】4.5 实践与应用--参数高效微调PEFT

目录4.5实践与应用4.5.1PEFT实践1）PEFT主流框架2）HF-PEFT框架使用3）PEFT相关技巧4.5.2PEFT应用1）表格数据查询2）表格数据分析4.5实践与应用实践部分介绍流行HuggingFace开发的开源库HF-PEFT框架及其使用方法和技巧。应用部分展示PEFT在表格数据处理和金融领域Text-to-SQL生成任务中的案例，证明其在提升大模型特定任务性能方面的有效性，为未来

XiaoJ1234567·2025-05-29 16:05

用Python玩转人工智能——手搓图像分类模型

state_dict）（三）模型保存与加载示例二、加载ImageNet预训练模型三、数据准备与可视化（一）加载数据集（二）使用Matplotlib可视化数据四、模型训练五、使用torchvision进行模型微调六

波涛浪子·2025-05-28 21:23

小样本分类新突破：QPT技术详解

图1：全模型微调、掩码语言模型（MLM）和提示学习范例图示内容(a)通用微调模型（fine-tuning）输入文本直接通过预训练模

ZhangJiQun&MXP·2025-05-28 21:21

大模型应用开发第四讲：两大方向：增加上下文信息（知识） vs 提升行动力（微调或Agent技术）

大模型应用开发第四讲：两大方向：增加上下文信息（知识）vs提升行动力（微调或Agent技术）资料取自《大模型应用开发：动手做AIAgent》。

·2025-05-28 16:42

最强开源模型 Llama 3.1 部署推理微调实战大全

目录引言一、Llama3.1简介二、Llama3.1性能评估三、Llama3.1模型推理实战1、环境准备2、安装依赖3、模型下载4、模型推理四、Llama3.1模型微调实战1、数据集准备2、导入依赖包3

寻道AI小兵·2025-05-28 15:08

多模态大模型研究综述

叶梓老师带您深入了解LlamaFactory——一款革命性的大模型微调工具。1小时实战课程，您将学习到如何轻松上手并有效利用LlamaFactory来微调您的模型，以发挥其最大潜力。

人工智能培训咨询叶梓·2025-05-28 11:06

常见本地大模型个人知识库工具部署、微调及对比选型

文章目录常见本地大模型个人知识库工具部署、微调及对比选型知识库侧AnythingLLMMaxKBRAGFlowFastGPTDifyOpenWebUI小结大模型侧OllamaLMStudioXinference

猫猫姐·2025-05-27 23:07

LVGL（lv_spinbox微调框控件）

文章目录一、什么是`lv_spinbox`⚙️二、常用API简介1️⃣创建`lv_spinbox`对象2️⃣设置参数3️⃣增加/减少当前数字4️⃣光标控制三、简单示例代码四、显示效果五、注意事项六、适合场景lv_spinbox是LVGL（LightandVersatileGraphicsLibrary）中的一个用于数值输入的组件，外观上类似一个可以上下调整数字的小输入框，常用于需要手动设定数值的场

花落已飘·2025-05-27 17:32

从0到1搭建AI绘画模型：Stable Diffusion微调全流程避坑指南

从0到1搭建AI绘画模型：StableDiffusion微调全流程避坑指南系统化学习人工智能网站（收藏）：https://www.captainbed.cn/flu文章目录从0到1搭建AI绘画模型：StableDiffusion

layneyao·2025-05-27 13:38

进阶篇09ChatGLM一键微调微调过程

阿里云ChatGLM模型微调实战教程一、环境初始化与模型部署1.1环境加载流程正常异常开始环境初始化加载基础镜像检查GPU状态下载ChatGLM-6B提交工单排查安装Python依赖加载测试数据集1.2

monday_CN·2025-05-27 13:07

分享全国数字人才技能提升师资培训班第五期

线下（广州班）：大模型与AIGC多模态技术应用实战线下（青岛班）：Deepseek教学应用与智能体开发实战线上班（十二大专题）：DeepSeek大模型教学应用实战大模型与AIGC技术应用实战大模型部署与微调实战

泰迪智能科技01·2025-05-27 03:04

vmware安装win10（Mac电脑）

win10系统有生物识别技术、Cortana搜索功能、平板模式、桌面应用、多桌面、开始菜单进化、任务切换器、任务栏的微调、贴靠辅助、通知中心、命令提示符窗口升级、文件资源管理器升级、新的Edge浏览器、

nimosec·2025-05-26 18:17

Transformer大模型实战针对下游任务进行微调

Transformer,微调,下游任务,自然语言处理,预训练模型,迁移学习,计算机视觉1.背景介绍近年来，深度学习在人工智能领域取得了突破性进展，其中Transformer模型凭借其强大的序列建模能力，

AI大模型应用之禅·2025-05-26 04:21

工业大模型全景解析：53个大模型案例深度探索

根据沙丘智库发布的《[2024年中国工业大模型应用跟踪报告]》，工业大模型是指在通用基础大模型（例如文心一言、通义千问等）的基础上，结合行业&场景数据进行预训练和微调，并进行模型压缩（裁剪、蒸

大模型猫叔·2025-05-25 22:09

Diffusers代码学习：Stable Video Diffusion

SVDCheckpoint被训练以生成14帧视频，并且SVD-XTCheckpoint点被进一步微调以生成25帧视频。下面将在本指南中使用SVD-XTCheckpoint。

duhaining1976·2025-05-25 21:34

android psp 模拟器卡,手机PSP游戏闪退或卡顿的解决方法

但每个品牌的手机因为处理器不相同可能需要进行微调，所以无法提供准确的设置方案。好了大家一定这急想知道是哪个设置了，那么现在公布答案：这

powerelectricdog·2025-05-25 12:37

【全网首发】使用 LoRA 微调 Qwen2.5-VL-7B-Instruct：完整流程解析

引言今天凌晨（2025年1月28日），Qwen团队正式发布Qwen2.5-VL，这是Qwen模型家族的旗舰视觉语言模型（VLM）。相较于之前的Qwen2-VL版本，Qwen2.5-VL在图像理解、视频分析、结构化输出和视觉推理方面取得了巨大突破。本次发布的模型涵盖3B、7B和72B三种尺寸，并已在HuggingFace和ModelScope上开源，方便不同需求的开发者使用。与此同时，随着大规模视觉

HovChen_·2025-05-25 06:53

facebook开源Triton编写GPU内核的编程模型速读：KernelLLM

它以Llama3.1-8B-Instruct为基础，经过监督指令微调。（二）训练数据模型在

Open-source-AI·2025-05-24 13:06

Conda pack 进行Python环境打包

写代码的中青年·2025-05-24 05:04

模型微调DPO入门

训练案例入门文档阅读二、实现定义DPO通过直接优化语言模型来实现对其行为的精确控制，而无需使用复杂的强化学习，也可以有效学习到人类偏好，DPO相较于RLHF更容易实现且易于训练，效果更好.DPO是一种自动微调方法

贾亚飞·2025-05-23 07:08

微调后的模型保存与加载

在HuggingFaceTransformers库中，微调后的模型保存与加载方式因微调方法（如常规微调或参数高效微调）而异。

为啥全要学·2025-05-22 12:11

Keras深度学习框架第十二讲：迁移学习与微调

1、绪论1.1迁移学习的定义深度学习的迁移学习是一种技术，它允许将一个任务上学到的知识或模型应用到另一个任务中。其核心思想是将一种任务中学习的特征或模型权重用于另一种任务，以实现知识的迁移和模型的优化。迁移学习在深度学习中具有广泛的应用，特别是在数据量较少的情况下。通过利用在源领域（sourcedomain）上学习到的知识，迁移学习可以帮助目标领域（targetdomain）上的学习任务。迁移学习

MUKAMO·2025-05-22 04:40

Istio服务网格：流量管理的实践与启示

使用IstioSidecar进行流量微调Istio的Sidecar模式允许对微服务进行更精细的流量控制。例如，通过配置文件，可以限制特定命名空间下的代理只监听9080端口的HTT

远方之巅·2025-05-21 14:07

从零开始：LLaMA-Factory 大模型微调完全指南 | 手把手教你打造专属AI助手

从零开始：LLaMA-Factory大模型微调完全指南|手把手教你打造专属AI助手教程摘要本教程将带领你完成从环境配置到模型部署的全流程，让你能够：在AutoDL平台上快速搭建训练环境使用LLaMA-Factory

柳思木·2025-05-21 10:38

大模型——多模态检索的RAG系统架构设计

文章目录1.系统架构设计核心组件2.跨模态向量空间对齐方案方法一：预训练对齐模型（如CLIP）方法二：跨模态投影网络方法三：联合微调3.混合检索策略4.关键问题解决Q:如何解决模态间向量尺度不一致？

追逐☞·2025-05-21 06:16

零基础职场人掌握AI大模型的完整学习路径与实践指南

2.1阶段一：认知启蒙（1-2周）2.2阶段二：技能筑基（1-3个月）2.3阶段三：思维升级（3-6个月）2.4阶段四：领域深耕（持续实践）第三部分：关键技术实践指南3.1Prompt工程精要3.2大模型微调基础

七刀·2025-05-21 05:14

大模型全栈开发实战：Python、C++、Java技术融合与行业落地指南（万字长文+完整代码）

本文将深入解析大模型开发的全流程，结合Python、C++、Java三大语言特性，提供从算法原理到工程部署，从轻量化微调到企业级应用的全方位指南，并附10个实战场景代码与避坑经验一、大模型开发全流程解析

Lucas55555555·2025-05-21 05:42

【多模态大模型实战】搭建通义千问Qwen 2.5-VL-7B-Instruct多模态模型，以及推理微调

模型信息Qwen2.5是Qwen大型语言模型的最新系列。对于Qwen2.5，我们发布了从0.5亿到72亿参数不等的一系列基础语言模型和指令调优语言模型。Qwen2.5在Qwen2的基础上带来了以下改进：拥有了显著更多的知识，并且在编码和数学方面的能力得到了极大提升，这得益于我们在这些领域开发的专门专家模型。在指令遵循、生成长文本（超过8000个标记）、理解结构化数据（如表格）以及生成结构化输出（特

AI智韵·2025-05-20 18:03

电影级生成模型（基于Wan2.1微调）：MoviiGen1.1

它基于Wan2.1模型微调而成。经过11位专业电影制作人和AIGC创作者在60个美学维度上的全面评估，MoviiGen1.1在关键电影方面展现出了卓越的性能。

Open-source-AI·2025-05-20 13:02

LLaMA-Factory微调大模型Qwen2.5

1、开始ModelScope社区GPU环境训练或微调模型都是非常耗费算力的。如果电脑的配置不高，可使用一些云服务器来做这项工作。

will.hu·2025-05-20 12:57

开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机多卡-RTX 4090双卡（十四）

一、前言本篇文章将使用ms-swift去高效微调QWen2系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。

开源技术探险家·2025-05-20 00:30

大模型原理？一文详细解释

这些模型通过大规模的数据预训练和微调，能够在多种任务上展现出卓越的性能。大模型的“大”不仅体现在参数数量上，还包括其训练数据集的广泛性和模型结构的复杂性。

Noos_·2025-05-19 23:56

推荐频道

qlora微调