qlora微调第4页

RAG 和微调如何抉择

要选择RAG(Retrieval-AugmentedGeneration)还是微调(Fine-tuning)，或者两者结合，主要取决于如下数据特性应用场景资源限制模型行为的控制需求RAGvs.微调：如何选择

成都犀牛·2025-06-22 14:20

llamafactory 微调模型出现TypeError: argument of type ‘NoneType‘ is not iterable

问题介绍本文作者碰到的问题是File“/root/miniconda3/lib/python3.12/site-packages/transformers/modeling_utils.py”,line1969,inpost_initifvnotinALL_PARALLEL_STYLES:^^^^^^^^^^^^^^^^^^^^^^^^^^^^TypeError:argumentoftype‘No

成都犀牛·2025-06-22 14:19

LinkedIn求职神器[特殊字符]AI驱动搜索让你轻松找到心仪工作！

这一功能通过利用提炼和微调的大型语言模型，在提升求职者求职体验上迈出了重要的一步。这项新功能让LinkedIn用户可以通过自然语言来进行职位搜索。例如，以往用户在输入

人工智能我来了·2025-06-22 07:36

Llama 4模型卡片及提示词模板

Llama4模型卡片及提示词模板Llama4模型卡及提示格式介绍Llama4模型概述Llama4是一系列预训练和指令微调的混合专家（Mixture-of-Experts,MoE）大语言模型，包含两种规模

大模型与Agent智能体·2025-06-21 23:44

【大模型开发】Hugging Face的Transformers库详解介绍与案例

深入解析HuggingFaceTransformers及开源大模型微调实践HuggingFaceTransformers已成为自然语言处理（NLP）乃至多模态（跨语言、图像、音频等）应用中最为流行、功能最完备的开源框架之一

云博士的AI课堂·2025-06-21 11:01

生成本地微调 +强化学习 qwen3-4b 研究搭建流程步骤

在本地微调并应用强化学习（RL）对Qwen-3-4B模型进行研究和搭建，是一个复杂但可行的过程。以下是一个详细的流程步骤，涵盖从环境准备、数据准备、模型微调到强化学习应用的各个阶段。

行云流水AI笔记·2025-06-21 11:54

【无标题】

在本地对Qwen-3-4B模型进行微调，并结合强化学习（RL）以提高其从自然语言（TXT）到结构化查询语言（SQL）的转换能力（即TXT2SQL），是一个复杂但非常有价值的任务。

行云流水AI笔记·2025-06-21 11:54

什么是 QLoRA（Quantized Low-Rank Adaptation，量化低秩适配）

QLoRA（QuantizedLow-RankAdaptation，量化低秩适配）是LoRA（Low-RankAdaptation）的一种优化扩展，旨在进一步降低大语言模型微调的计算和内存需求。

彬彬侠·2025-06-21 06:23

三十年河东，三十年河西

你需要拼命学习你需要补不足，补短板最怕自己能力不足，还在自我安慰重新出发了，后端->大模型微调->AIGC顶峰相见了，以后没得摸了

·2025-06-20 23:44

LoRA、QLoRA是什么

一：LoRA（Low-RankAdaptation，低秩适应）是一种高效的大模型参数微调技术，由Meta在2021年提出。

爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ·2025-06-20 17:58

AI模型微调完整学习方案：从入门到精通

引言随着大语言模型(LLM)技术的快速发展，微调模型以适应特定任务或领域的需求变得越来越重要。微调是一种技术，通过对预训练模型进行进一步训练，使其能够更好地解决特定问题或在特定领域表现更佳。

奔四的程序猿·2025-06-20 05:34

llama_index chromadb实现RAG的简单应用

毕竟大模型本地化有利于微调，RAG使内容更有依据。为什么要用RAG？

victorwjw·2025-06-19 21:07

Qwen2.5：模型训练和推理核心参数介绍

原因：如果不去掉，在进行微调时，模型就会将数据集原始字段和新加的字段一起输入到模型，导致格式与期望的不一致。

艾墨舟启航·2025-06-18 04:51

YOLO进化史：从v1到v12的注意力革命 —— 实时检测的“快”与“准”如何兼得？

YOLOv2（2017）：引入锚框（AnchorBoxes），通过k-means聚类确定先验框尺寸新增高分辨率微调（448×448输入）使用Darknet-19主干，速度达67FPSYOLOv

摘取一颗天上星️·2025-06-17 23:49

LLM指令微调Prompt的最佳实践（二）：Prompt迭代优化

Prompt定义3.迭代优化——以产品说明书举例3.1产品说明书3.2初始Prompt3.3优化1:添加长度限制3.4优化2:细节纠错3.5优化3:添加表格4.总结5.参考1.前言前情提要：《LLM指令微调

SmallerFL·2025-06-17 22:11

Embedding 微调就是你的救星！

在AI时代，Embedding是NLP任务的基石，直接决定了你的模型是「聪明绝顶」还是「笨拙不堪」。你是否遇到过这些让人头疼的问题：做智能问答时，模型总是答非所问，用户一脸懵圈？做推荐系统时，用户翻遍推荐内容，还是觉得「没一个对味」？做语义搜索时，搜索结果五花八门，相关性差到让人抓狂？这些问题的罪魁祸首，往往就是你的Embedding不够精准！通用Embedding在特定领域常常「水土不服」：在电

大模型玩家·2025-06-17 13:41

大模型微调(Fine-tuning)概览

大模型微调（Fine-Tuning）是将预训练大模型（如GPT、LLaMA）适配到特定任务或领域的核心技术，其效率与效果直接影响大模型的落地价值。

MzKyle·2025-06-17 08:39

【GitHub开源项目实战】DINOv2 自监督视觉模型深度解构：多任务零微调性能与多分辨率表征架构解析

DINOv2自监督视觉模型深度解构：多任务零微调性能与多分辨率表征架构解析关键词DINOv2、自监督视觉模型、ViT、多分辨率表示、语义分割、深度估计、Zero-shot、图像表示学习、OpenCLIP

观熵·2025-06-17 01:15

实现AI数据高效评估的一种方法

在线评价阶段，则通过对synset进行微调，并结合特定的模型行为评估需求，快速构建出针对不同测试样本的影

mao_feng·2025-06-17 00:08

【AI大模型】15、从GPT-1到GPT-3：大语言模型核心技术演进与能力涌现全解析

一、GPT-1：预训练微调范式的奠基者（2018）（一）架构创新：单向Transformer解码器的诞生GPT-1首次将Transformer架构应用于语言模型领域，其核心采用12层Transformer

·2025-06-16 14:04

DeepSeek 遭美国攻击宕机，手把手教你本地部署，手机也支持！

自主控制与定制化可根据业务需求灵活调整模型参数、优化算法，或集成私有数据微调模型，适配特定场景。低延迟与高性能本地部署减少网络传输延迟，结合硬件优化（如GPU加速），提升实时处理效率。

MarkGosling·2025-06-16 11:45

【项目实训】【项目博客#06】大模型微调与推理优化（4.21-5.11）

【项目实训】【项目博客#06】大模型微调与推理优化（4.21-5.11）文章目录【项目实训】【项目博客#06】大模型微调与推理优化（4.21-5.11）项目博客概述一、整体架构设计二、QLora量化微调技术

elon_z·2025-06-16 05:07

预训练、指令微调与RLHF如何塑造LLM

理解这个训练过程的核心环节——大规模无监督预训练（Pre-training）、指令微调（InstructionFine-Tuning,IFT）以及从人类反馈中强化学习（ReinforcementLearningfromHumanFeedback

由数入道·2025-06-15 16:15

2025年大模型学习路线图：史上最全、最新的大模型学习指南！非常详细收藏这一篇就够了！

大模型学习路线建议先从主流的Llama开始，然后选用中文的Qwen/Baichuan/ChatGLM，先快速上手体验prompt工程，然后再学习其架构，跑微调脚本前排提示，文末有大模型AGI-CSDN独家资料包哦

大模型教程·2025-06-15 16:42

S4-Driver: Scalable Self-Supervised Driving Multimodal Large Language Model with Spatio-Temporal

核心方法包括：稀疏体表示（SparseVolumeRepresentation）：将多视图、多帧图像的视觉信息聚合到3D空间，通过轻量级投影和门控机制动态选择关键区域，增强模型的3D时空推理能力，且无需微调预训练的视觉

UnknownBody·2025-06-15 15:37

【项目实训】【项目博客#04】ArkTS代码切分与微调数据集提示词生成（4.7-4.20）

【项目实训】【项目博客#04】ArkTS代码切分与微调数据集提示词生成（4.7-4.20）文章目录【项目实训】【项目博客#04】ArkTS代码切分与微调数据集提示词生成（4.7-4.20）项目博客概述一

elon_z·2025-06-15 06:05

用 LoRA 对 Qwen2.5-VL 模型进行SFT - qwen2_5vl_lora_sft.yaml

1llamafactory-clitrainexamples/train_lora/qwen2_5vl_lora_sft.yamlqwen2_5vl_lora_sft.yaml││││└──SFT:有监督微调

二分掌柜的·2025-06-15 02:37

记录一个大模型逐层微调计算损失输出少了一个维度的小bug

1.假如针对的对象是lineardef_compute_mse_on_batch(layer:nn.Module,batch_iter:Iterator[Tuple[torch.Tensor,torch.Tensor]],**kwargs)->torch.Tensor:inps_batch,outs_batch=next(batch_iter)print("Initialinps_batch:",

绒绒毛毛雨·2025-06-14 21:31

Python打卡第50天

@浙大疏锦行知识点回顾：resnet结构解析CBAM放置位置的思考针对预训练模型的训练策略差异化学习率三阶段微调数据预处理+定义cbamimporttorchimporttorch.nnasnnimporttorch.optimasoptimfromtorchvisionimportdatasets

猛犸MAMMOTH·2025-06-14 16:25

python打卡第50天

知识点回顾：resnet结构解析CBAM放置位置的思考针对预训练模型的训练策略差异化学习率三阶段微调现在我们思考下，是否可以对于预训练模型增加模块来优化其效果，这里我们会遇到一个问题预训练模型的结构和权重是固定的

whyeekkk·2025-06-14 07:59

2025年4月大模型预训练、微调服务器推荐

大模型预训练与微调，对显卡的显存要求高，显存是决定模型能不能跑的关键因素，因此，挑选显卡时优先考虑显存问题；其次再考虑单精度等性能问题目前常用的显卡包括A600048G、L2048G、L4048G、6000Ada48G

HPC_fac13052067816·2025-06-14 04:40

大模型现在用的最多其次是预训练模型,大模型用于rag agent 预训练模型用于微调任务

当前的人工智能领域，大模型与预训练模型的应用场景呈现出显著的差异化特征，以下从技术逻辑、应用场景及典型案例三个维度展开分析：一、大模型（LLM）的核心应用：RAGAgent架构1.技术逻辑：动态知识检索与推理融合大模型（如GPT-4、Claude3.5）具备强大的语言理解与生成能力，但受限于参数规模（通常千亿级以上），难以存储实时或专业领域的海量知识。RAG（Retrieval-Augmented

MYH516·2025-06-13 21:52

04 XTuner 大模型单卡低成本微调实战

目录1Finetune简介1.1监督微调1.2增量预训练1.3LoRA&QLoRA2XTuner微调框架3微调实战3.1公开数据集demo3.2自定义微调1Finetune简介LLM的下游应用中，增量预训练和指令跟随是经常会用到的两种微调模式

wangzixinxinxin·2025-06-13 20:22

大语言模型实战：从零构建AI原生应用的完整指南

大语言模型实战：从零构建AI原生应用的完整指南关键词：大语言模型、AI原生应用、Prompt工程、微调、RAG、LangChain、LLMOps摘要：本文将带领读者从零开始构建一个完整的AI原生应用。

AI原生应用开发·2025-06-13 11:15

多模态大模型研究综述

叶梓老师带您深入了解LlamaFactory——一款革命性的大模型微调工具。1小时实战课程，您将学习到如何轻松上手并有效利用LlamaFactory来微调您的模型，以发挥其最大潜力。

人工智能培训咨询叶梓·2025-06-13 11:44

大模型笔记_模型微调

1.大模型微调的概念大模型微调（Fine-tuning）是指在预训练大语言模型（如GPT、BERT、LLaMA等）的基础上，针对特定任务或领域，使用小量的目标领域数据对模型进行进一步训练，使其更好地适配具体应用场景的过程

饕餮争锋·2025-06-13 02:12

大模型笔记_模型微调 vs RAG

1.模型微调与RAG介绍模型微调（Fine-tuning）：大模型笔记_模型微调-CSDN博客检索增强生成RAG（Retrieval-AugmentedGeneration）：大模型笔记_检索增强生成(

饕餮争锋·2025-06-13 02:12

【项目博客】基于DeepSeek的Python代码助手（一）

一、项目概述1.1项目背景1.2项目定位1.3项目技术实现与价值二、技术可行性分析2.1模型与微调可行性2.2API服务与部署可行性2.3VSCode插件开发可行性2.4功能实现与总结三、需求分析3.1

6_ShiaoYoung·2025-06-13 00:53

SFT + LoRA 结合使用原理及最佳实践

SFT+LoRA结合使用原理及最佳实践一、核心原理1.技术定位SFT（监督微调）与LoRA（低秩适应）的结合，实现了全参数微调效果与高效参数更新的平衡：SFT：通过标注数据调整模型整体行为LoRA：仅训练注入的低秩矩阵

·2025-06-12 23:17

Ubuntu24.04 onnx 模型转 rknn

前面的环境配置有点懒得写，教程也很多，可以自己找rknn-toolkit2gitee地址：pingli/rknn-toolkit2试了很多开源的代码，都没办法跑通，最后自己改了一版微调后的qwen2模型适用

一只名叫Me的猫·2025-06-12 19:16

BERT情感分类

参考B站BigC_666：微调BERT模型做情感分类实战，代码逐行讲解，100%可以跑通!!!

alasnot·2025-06-12 18:42

【慧游鲁博】团队记录5

文章目录进度总览完成细节Part11.图片上传与预加载功能2.前端功能扩展与密码修改页面3.DeepSeek模型微调与Kaggle实验4.前端组件化重构5.用户认证与信息管理完成细节Part21.多模态交互

哇哦哇哦~~·2025-06-12 13:35

Python训练营打卡DAY50

DAY50预训练模型+CBAM模块知识点回顾：resnet结构解析CBAM放置位置的思考针对预训练模型的训练策略差异化学习率三阶段微调ps：今日的代码训练时长较长，3080ti大概需要40min的训练时长作业

我想睡觉261·2025-06-12 07:51

LLMs 入门实战系列

6B【ChatGLM-6B入门-一】清华大学开源中文版ChatGLM-6B模型学习与实战介绍：ChatGLM-6B环境配置和部署【ChatGLM-6B入门-二】清华大学开源中文版ChatGLM-6B模型微调实战

AGI小明同学·2025-06-12 04:29

【大模型】大模型微调（上）

一、概念与背景微调（Fine-tuning）是一种迁移学习的方法，通过在已有的预训练模型基础上，利用目标任务的少量标注数据对模型进行二次训练，使其更好地适应特定任务的需求。

油泼辣子多加·2025-06-11 19:30

【大模型】大模型微调（中）

一、P-Tuning（PromptTuning）1.原理软提示（SoftPrompt）：在输入前添加可训练的连续向量（softprompt），而非修改模型参数。冻结模型主体：仅更新提示向量，保持预训练权重不变。优势：显存开销小，易于存储和切换任务；支持多任务场景。2.所需数据示例{"prompt_template":"Question:{question}Answer:","samples":[{