Lora

CAMEL 学习笔记一

课程讲义https://github.com/camel-ai/owlCAMEL(CommunicativeAgentsfor“Mind”ExplorationofLargeLanguageModels
RessCris·2025-04-25 16:51

Q-Learning算法：从原理到路径搜索代码实现

3.3Q-Learning算法步骤3.4Q-Learning的收敛（Bellman期望方程）四、参数的影响和选取建议4.1折扣率（DiscountFactor）4.2学习率（LearningRate）4.3探索率（ExplorationRate
艰默·2025-04-25 10:07

大模型面经 | 春招、秋招算法面试常考八股文附答案（二）

目录1.大模型幻觉问题2.介绍一下常见的位置编码3.介绍一下LoRA4.AdaLoRA和QLoRA5.RLHF中，PPO需要哪几个模型，分别是什么作用?
皮先生!·2025-04-25 03:51

大型语言模型中微调和提炼的详细技术比较

目录概要介绍技术背景微调和参数高效策略模型提炼理念的冲突QLoRA：将量化与低秩自适应相结合高级量化：不破坏的缩小艺术4位量化为何有效低阶适配器集成：效率的艺术低秩适应为何有效QLoRA为何如此重要：宏观视角提炼
前网易架构师-高司机·2025-04-25 01:36

智慧园区解决方案

智慧园区解决方案聚焦产业园区智能化升级，基于云管边一体化架构，整合LoRa、5G、物联网平台等技术，构建覆盖园区管理、仓储物流、安防监控、公共服务的全场景智能化体系。
数智资源·2025-04-24 22:49

oracle 停止运行的job

linux下切换到oracle用户su-loracle登录sysdba用户sqlplus/assysdba找到运行的任务，看sql_textselecta.program,b.spid,c.sql_text
小鱼学习记·2025-04-23 01:22

Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（六）Llama 3 已训练的大模型合并LoRA权重参数

LlaMA3系列博客基于LlaMA3+LangGraph在windows本地部署大模型（一）基于LlaMA3+LangGraph在windows本地部署大模型（二）基于LlaMA3+LangGraph在windows本地部署大模型（三）基于LlaMA3+LangGraph在windows本地部署大模型（四）
段智华·2025-04-22 13:06

大模型微调综述

InstructionFine-Tuning，IFT)全参数微调(FullFineTuning，FFT)参数高效微调（Parameter-EfficientFine-Tuning，PEFT）常见的微调技术LoRA
kuokay·2025-04-21 07:45

Qwen2.5-Omni 部署框架选择指南：PyTorch vs. TensorFlow 深度对比

CUDA可用性2.TensorFlow替代方案（不推荐）系统限制安装命令四、典型场景实现对比1.多模态推理（图文问答）PyTorch实现（推荐）TensorFlow实现（复杂）2.模型微调PyTorch(QLoRA
张3蜂·2025-04-21 04:23

72B模型DPO微调 | DPO的大模型的技术点、DPO的核心思想

借助LoRA和QLoRA等参数高效微调技术，我们可以在单GPU卡上对拥有80亿参数的模型（如Llama3.18B和Qwen2.57B）进行DPO训练，当然训练序列可能较短。
大模型本地部署_·2025-04-21 03:21

LeetCode -- Flora -- edit 2025-04-16

1.两数之和1.两数之和给定一个整数数组nums和一个整数目标值target，请你在该数组中找出和为目标值target的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案，并且你不能使用两次相同的元素。你可以按任意顺序返回答案。示例1：输入：nums=[2,7,11,15],target=9输出：[0,1]解释：因为nums[0]+nums[1]==9，返回[0,1]。示例2：输
椰羊～王小美·2025-04-20 15:39

jQuery UI API 类别 - 特效核心（Effects Core）

特效（Effects）|方法重载（MethodOverrides）颜色动画（ColorAnimation）使用.animate()实现颜色动画效果。.ef
宇哥资料·2025-04-17 21:48

大模型微调1——使用LoRA微调qwen模型优化推理效果

目录任务LoRA微调步骤1、数据集准备2、下载大模型3、加载tokenizer和model4、训练数据格式化5、配置LoRA的参数6、开启训练7、训练结束后，合并LoRA和原模型参数参考文献：任务使用LoRA
IT修炼家·2025-04-17 18:02

【大模型开发】开源大模型微调：LoRA（Low-Rank Adaptation）技术

LoRA（Low-RankAdaptation）微调技术详解与实战LoRA是一种高效的参数微调技术，旨在解决大规模预训练模型全参数微调时计算和存储开销过大的问题。
云博士的AI课堂·2025-04-17 18:01

[特殊字符] LoRA微调大模型实践：从MAC到Web的全流程指南

实践步骤概览今天我们要在MAC上完成一个完整的AI项目闭环：微调一个大模型→2.导出模型并部署→3.暴露API给web后端→4.前端展示️微调模型准备核心配置框架：LLama-Factory算法：LoRA
AI大模型顾潇·2025-04-17 18:00

多模态大语言模型arxiv论文略读（十六）

TowardsImprovingDocumentUnderstanding:AnExplorationonText-GroundingviaMLLMs➡️论文标题：TowardsImprovingDocumentUnderstanding
Jamence·2025-04-16 11:41

nlp培训重点-5

1.LoRA微调loader：#-*-coding:utf-8-*-importjsonimportreimportosimporttorchimportnumpyasnpfromtorch.utils.dataimportDataset
heine162·2025-04-14 23:44

深度探索 DeepSeek 微调：LoRA 与全参数微调实战指南

本篇文章将介绍LoRA（Low-RankAdaptation）、全参数微调等微调策略，并提供详细的代码示例，帮助开发者高效定制DeepSeek以适应特定任务。为什么要微调DeepSeek？
·2025-04-14 15:36

单卡4090微调大模型 DeepSeek-R1-32B

之前文章同样的方法，也可以在24G显存的单卡4090上微调训练deepseek-ai/DeepSeek-R1-Distill-Qwen-32B；即使该模型的权重文件大小已经达到62G，这是因为unsloth和lora
大模型与自然语言处理·2025-04-14 04:35

[OpenVLA] All attempts to get a Google ... token failed

如果你已经把数据集和模型下载到本地了，但是还是跑不通lora代码，报错AllattemptstogetaGoogleauthenticationbearertokenfailed...那么本教程适合你改一行代码解决在你的
·2025-04-13 02:02

Stable Diffusion：使用ControlNet为黑白照片上色

https://www.dong-blog.fun/post/2019使用ControlNet的Recolor模型为黑白图片上色1.RecolorControl-LoRA简介用途：专为黑白照片上色设计的轻量化模型核心特点
XD742971636·2025-04-13 00:08

【AI】LoRA技术深度解析：大模型高效微调的革命性突破

LoRA技术深度解析：大模型高效微调的革命性突破一、技术原理与核心突破LoRA（Low-RankAdaptation）是一种通过低秩矩阵分解实现大模型参数高效优化的技术。
酱学编程·2025-04-12 22:26

微调和蒸馏：详细技术全解_蒸馏 微调

虽然完整的微调会更新所有权重，但近年来如LoRA（Low-RankAdaptation，低秩适
慕烟疏雨·2025-04-12 22:56

领域专用对话大模型深度适配方案

领域专用对话大模型深度适配方案基于LLaMA-2-13B的LoRA+PTuning联合优化一、LLaMA-2-13B核心特性解析1.1架构创新点特性LLaMA-1LLaMA-2-13B上下文窗口2048tokens4096tokens
Sirius Wu·2025-04-12 18:28

第31篇：FedSA-LoRA（联邦学习+lora+个性化升级版）

第一部分：要解决的问题第二部分：解决问题所提出的idea研究发现，A矩阵负责学习通用知识，而B矩阵则专注于捕捉客户端特定知识。这一发现基于对不同数据异质性水平下，客户端间A和B矩阵的相似性分析。第三部分：新方法效果任务：在自然语言理解（GLUE基准）和生成任务（GSM8K、CodeSearchNet）中测试。性能
还不秃顶的计科生·2025-04-11 19:28

ComfyUI 完全入门：使用LoRA模型

本文继续给大家分享ComfyUI的入门必备技能：使用LoRA模型。
AI劳模·2025-04-11 03:09

金融大模型

https://github.com/AI4Finance-Foundation/FinGPT/tree/master/fingpt/FinGPT-v3FinGPTv3系列是在新闻和微博情绪分析数据集上使用LoRA
兔兔爱学习兔兔爱学习·2025-04-10 11:28

DeepSeek底层揭秘——《推理时Scaling方法》技术对比浅析

笔者尝试对比了“关于推理时Scaling”与现有技术，粗浅分析如下：与LoRA的对比区别：应用场景：LoRA是一种参数高效微调方法，主要用于在训练阶段对模型进行微调，以适应特定的任务或数据集。
9命怪猫·2025-04-09 08:58

贪吃蛇游戏项目完整版

*;importjava.util.Random;/***小蛇吃的苹果*/publicclassApple{privatestaticColorAPPLE_COLOR=Color.RED;//苹果的颜色
KJ.JK·2025-04-08 19:11

以微调deepseek为例，基于transformers改写实现lora+

LoRA+:EfficientLowRankAdaptationofLargeModels24年2月12的论文，主要思想就是对LoRA进行了一些改进，提升了模型效果。
淡水，·2025-04-08 11:41

下一代AI App架构：前端生成，后端消失

但随着AI原生应用的兴起，特别是大模型本地化、小模型部署、WebAssembly、LoRA微调等技术的成熟，一个全新的架构范式正在悄然出现：AIApp的下一代形态：前端生成，后端消失。
萧鼎·2025-04-07 12:48

QLoRA 精调模型如何部署上线？FastAPI 封装 × Docker 打包 × 多模型热切换实战指南

QLoRA精调模型如何部署上线？FastAPI封装×Docker打包×多模型热切换实战指南✅一、QLoRA精调模型怎么“上线”？
AI筑梦师·2025-04-07 03:53

ST 芯片产品线全景图

ST芯片分为四大类：通用MCU（STM32）无线MCU（带BLE/LoRa）专用BLE芯片（BlueNRG）MPU（运行Linux的）STM32WB和STM32WLE虽然属于无线MCU，但本质上仍然是STM32
damo王·2025-04-06 19:58

【大模型】微调一个大模型需要多少 GPU 显存？

up主页：AI老兵tags：#GPU显存#模型微调#LoRA#QLoRA#参数计算本集视频详细介绍了在模型微调过程中GPU显存需求的计算方法，包括全量微调和高效微调（如LoRA）的情况。
酒酿小圆子～·2025-04-06 13:50

AI安全算法工程师的算法笔记

或者想深入了解AI安全研究与工程实践，强烈推荐你关注这个微信公众号AI安全这点事由AI安全方向的一线技术从业者主理，长期聚焦在两个关键方向：大模型前沿技术最新开源大模型拆解与能力分析SFT/RLHF/LoRA
AI安全这点事·2025-04-06 09:25

谱聚类算法 matlab,SpectralClustering 谱聚类算法的matlab实现 238万源代码下载- www.pudn.com...

提供者:qwert详细说明：谱聚类算法的matlab实现-spectralclusteringalgorithmmatlab文件列表(点击判断是否您需要的文件，如果是垃圾请在下面评价投诉):Bachelorarbeit.pdfImageSeg
谛听汪·2025-04-05 14:17

基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理

LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》），接下来就需要针对微调好的模型或者是原始模型（注意需要有一个本地的模型文件，全量微调就是saves下面的文件夹，如果是LoRA
羊城迷鹿·2025-04-05 02:27

大模型架构与训练方向

熟悉参数高效微调技术（如LoRA、Adapter），用于降低训练成本‌4。‌分布式训练技术‌掌握数据并行、
凌云C·2025-04-04 15:44

用LLama factory时报类似Process 2504721 got signal: 1的解决方法

之前用nohup来远程跑LLamafactory微调脚本，是没有问题的，但今天发现运行类似下面这个命令时，nohupllamafactory-clitrainexamples/train_qlora/qwen_lora.yaml
蛐蛐蛐·2025-04-04 04:28

重塑通信边界，基于ZYNQ7000 FPGA驱动的多频段多协议软件无线电平台

板卡集成了一个E22-900M22SLoRa模块，可覆盖850~930MHz超宽适用频率范
迪普微社区·2025-04-03 21:18

用 5 条数据搞定行业专家模型：Few-shot Prompt × 微调联合实战指南

这不是口号，而是已经被验证过的工程范式：Few-shotPrompt+LoRA微调的组合打法，已经在多个领域（财税、政务、法律、教育）中获
AI筑梦师·2025-04-03 09:56

Mysql --SQL通用语法，约束，三大范式，备份还原，多表查询，事务

DataBase简称DB数据库：用于存储和管理数据库的仓库数据库的特点：1.持久化存储数据的，其实数据库就是一个文件系统2.数据库方法存储和管理数据库3.使用了统一的方式操作数据库常见的数据库软件MysqlOracleMysql
RaoDuty·2025-04-03 07:44

工业 4.0 与大模型协同驱动企业深度价值实现 —— 基于 DEEPSEEK 框架的理论与实践

本文提出DEEPSEEK价值实现框架（Data-drivenExploration,Enhancement,Prediction,andSmartDecision-making），论证工业4.0基础设施是大模型赋能企业的必要前提
Wnq10072·2025-04-01 15:38

大模型微调系列（三）QLoRA微调

本文会带给你认识常用的指令监督微调数据集如何构建自定义数据集为什么是QLoRA学会使用LLamFactory进行QLoRA微调大模型一、数据集常用的数据集有Alpaca格式和ShareGPT格式，下面我们分别介绍这两种格式数据集
topfine·2025-04-01 00:22

《无线江湖五绝：BLE/WiFi/ZigBee的频谱大战》

点击下面图片带您领略全新的嵌入式学习路线爆款热榜88万+阅读1.6万+收藏文章目录**第一回·武林大会，群雄并起****第二回·WiFi的“降龙十八掌”****第三回·BLE的“峨眉轻功”****第四回·ZigBee的“暗器百解”****第五回·LoRa
【云轩】·2025-03-31 21:55

如何利用 LoRA 微调大模型，实现高效个性化 AI 方案

LoRA（Low-RankAdaptation，低秩适应）技术的出现为解决这一挑战提供了创新方案。本文将深入探讨LoRA的原理、实现方法以及如何利用它来高效地微调大模型
萧鼎·2025-03-30 13:42

使用llama.cpp量化模型

本次采用的模型为前一篇博客所写的基准模型与LoRA微调后的合并模型。整体实验流程由于基准模型较大就直接在服务器上下载并上
LLM挣扎学员·2025-03-28 08:05

TPAMI 2025 | 通过逐像素密度分布建模的半监督计数

通过逐像素密度分布建模的半监督计数作者：HuiLin,ZhihengMa,RongrongJi,YaoweiWang,ZhouSu,XiaopengHong,DeyuMeng源码：https://github.com/LoraLinH
小白学视觉·2025-03-28 08:34

【transformer理论+实战（三）】必要的 Pytorch 知识

【Transformer理论+实战（三）】必要的Pytorch知识【Transformer理论+实战（二）】Lora本地微调实战--deepseek-r1蒸馏模型【Transformer理论+实战（一）
造夢先森·2025-03-28 02:23

StableDiffusion模型推荐系列（全能型）

那就得再加上lora模型。而为了更优化的效果，我们甚至还要动用ControlNet和VAE模型，这简直就像是无休止
Python程序员小泉·2025-03-27 19:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他