Llama

LLaMA-Factory微调教程1：LLaMA-Factory安装及使用

文章目录环境搭建LLaMA-Factory安装教程模型大小选择环境搭建Windows系统RTX4060Ti（16G显存）python3.10cuda=12.6cudnntorch==2.7.1+cu126torchvision

Cachel wood·2025-07-29 14:12

Mamba架构的模型（内容由deepseek辅助汇总）

性能表现：在综合基准（IFEval、BBH、MMLU-PRO等）平均得分15.04，超越Llama3.1-

Jiang_Immortals·2025-07-29 07:20

Llama 2 模型架构深度解析：Transformer的进化

Llama2模型架构深度解析：Transformer的进化关键词：Llama2、Transformer、模型架构、进化、人工智能摘要：本文将深入剖析Llama2的模型架构，探讨它作为Transformer

SuperAGI架构师的AI实验室·2025-07-29 01:32

【Ollama】大模型本地部署与 Java 项目调用指南

Ollama大模型本地部署与Java项目调用指南一、引言背景介绍Ollama是一个轻量级的大语言模型部署工具，支持快速在本地拉取、运行主流开源模型（如LLaMA3、Mistral、Gemma等）。

科马·2025-07-28 23:46

LLM微调训练指南

模型选择策略开源LLM的选择需综合评估任务需求与资源限制：LLaMA-2（7B/13B/70B）：商用友好，推荐使用HuggingFace格式的社区变体（如NousResearch版本）Mistral（

小小怪 @·2025-07-27 21:07

9、LLaMA-Factory项目微调介绍

1、LLaMAFactory介绍 LLaMAFactory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen

Andy_shenzl·2025-07-27 12:07

【AIGC调研系列】敢于挑战Transformer的新架构Megalodon有什么优势

高性能：在2万亿token的训练任务中，Megalodon的性能超越了Llama2-7B，实现了非凡的效率[1][2][3]。这表明Megalodo

Zachary AI·2025-07-26 20:27

【AIGC半月报】AIGC大模型启元：2024.04（下）

AIGC大模型启元：2024.04（下）(1)Llama-3（MetaLLM）(2)Eurux-8x22B（面壁智能）(3)MEGALODON（Meta上下文长度不受限的神经网络架构）(4)Phi-3Mini

·2025-07-26 19:25

RoPE：相对位置编码的旋转革命——原理、演进与大模型应用全景

该方法是当前主流大模型（如LLaMA、GPT-NeoX）的核心

大千AI助手·2025-07-26 19:22

深度解析：Meta148亿美元收购Scale AI，扎克伯格的AI翻身仗能成功吗？

1.Llama4的"滑铁卢"2.人才流失较重3.数据质量的"阿喀琉斯之踵"4.扎克伯格的"创始人模式"三、ScaleAI

Code_流苏·2025-07-25 12:50

使用 LLaMA 3 8B 微调一个 Reward Model：从入门到实践

本文将介绍如何基于Meta的LLaMA38B模型构建并微调一个RewardModel，它是构建RLHF（基于人类反馈的强化学习）系统中的关键一环。

茫茫人海一粒沙·2025-07-25 11:45

LLaMA-Factory快速入门

文章目录1.背景2.环境准备2.1硬件要求2.2CUDA和Pytorch环境2.3模型下载2.4模型推理3.自定义数据集构建4.基于LoRA的sft指令微调4.1Lora微调训练4.2动态合并LoRA的推理4.3训练效果评估4.4LoRA模型合并导出5.webuiboard的使用5.1使用介绍5.2APIServer的启动与调用6进阶6.1大模型主流评测benchmark6.2部署Ollama1.

@BangBang·2025-07-24 21:32

【运维】SGLang服务器参数配置详解

常用启动命令多GPU张量并行python-msglang.launch_server--model-pathmeta-llama/Meta-Llama-3-8B-Instruct--tp2多GPU数据并行

EulerBlind·2025-07-24 18:17

深入解析LoRA：低秩适应的高效大模型微调技术

1.背景与动机随着大语言模型（如GPT-3、Llama）的参数规模突破千亿级，传统全参数微调面临三大挑战：显存爆炸：微调70B模型需数千GB显存（如Llama-270B全微调需1.2TB显存）计算成本：

Zhong Yang·2025-07-24 06:54

*SFT深度实践指南：从数据构建到模型部署的全流程解析

一、SFT技术原理与定位核心定义SFT是在预训练语言模型（如LLaMA、GPT）基础上，利用标注数据优化模型以适应特定任务的技术。

大千AI助手·2025-07-22 18:34

【RAG专题】如何选择合适的RAG架构？

◦生成：搭配中小型LLM（如Llama2-7B、Mistral），无需复杂

星际棋手·2025-07-22 14:08

6、LangChain —— 使用 Huggingface 中的开源模型

文章目录一、概述二、大语言模型发展史三、预训练+微调的模式四、用HuggingFace跑开源模型五、申请使用Meta的Llama2模型六、通过HuggingFace调用Llama七、LangChain和

Miyazaki_Hayao·2025-07-22 13:36

大模型或多模态在能源系统优化调度中的应用

1.大模型在电力调度中的应用GAIA-电力调度大语言模型项目描述:专为电力调度设计的大语言模型，能够处理运行调整、运行监控和黑启动等任务技术特点:基于LLaMA2微调，专门针对电力系统领域优化论文:“Alargelanguagemodelforadvancedpowerdispatch

u013250861·2025-07-21 06:53

大模型格式

ModelScope模型格式大多使用HuggingFaceTransformers格式，如.bin、.safetensors，与Ollama不兼容模型加载方式不同Ollama自带封装推理引擎（ggml/llama.cpp

·2025-07-21 06:20

本地部署 Kimi K2 全指南（llama.cpp、vLLM、Docker 三法）

KimiK2是MoonshotAI于2025年7月11日发布的高性能多专家语言模型（MoE），支持最大128K上下文，激活参数规模为32B，具备极强的推理、代码生成与多轮对话能力。自从其权重以多种格式开源以来，许多开发者希望将其部署在本地，以获得更高的私密性和灵活性。本文将详细介绍三种主流本地部署路径，并提供完整的配置步骤和使用建议。准备工作（通用部分）在进行部署前，请准备如下环境与资源：✅最低硬

迎风斯黄·2025-07-20 11:09

大模型本地部署-dify私有化部署-教程

2、全面的模型支持：与数百种专有/开源LLMs以及数十种推理提供商和自托管解决方案无缝集成，涵盖GPT、Mistral、Llama3以及任何与OpenAIAPI兼容的模型。完整

·2025-07-20 11:05

LLM系统性学习完全指南（初学者必看系列）

我们将从支撑整个领域的数学与机器学习基石出发，逐步剖析自然语言处理（NLP）的经典范式，深入探究引发革命的Transformer架构，并按时间顺序追溯从BERT、GPT-2到GPT-4、Llama及Gemini

GA琥珀·2025-07-19 19:11

Llama-Omni会说话的人工智能“语音到语音LLM” 利用低延迟、高质量语音转语音 AI 彻底改变对话方式（教程含源码）

关键字：Llama-Omni

知识大胖·2025-07-12 11:50

【实战AI】macbook M1 本地ollama运行deepseek

请自行；2.设备macbookM132G下载ollamaOllama是一款跨平台推理框架客户端（MacOS、Windows、Linux），专为无缝部署大型语言模型（LLM）（如Llama2、Mistral

东方鲤鱼·2025-07-12 08:24

在mac m1基于llama.cpp运行deepseek

llama.cpp支持1.5位、2位、3位、4位、5位、6位和8位整数量化，通过ARMNEON、Accelerate和Metal支持Apple芯片，使得在MACM1处理器上运行Deepseek大模型成为可能

·2025-07-12 06:41

LLaMA 学习笔记

目录LLaMA模型结构：模型微调手册：推理示例：指定位置加载模型测试ok：模型下载：llama-stack下载modelscope下载LLaMA优化技术RMSNormSwiGLU激活函数旋转位置编码（RoPE

AI算法网奇·2025-07-12 06:41

LLaMA-Omni 深度解析：打开通往无缝人机语音交互的大门

一、引言：语音交互大模型今天我们来看语音交互大模型LLaMA-Omni，它由中国科学院计算技术研究所的研究者们推出，是一个基于强大的Llama-3.1-8B-Instruct构建的语音语言模型。

kakaZhui·2025-07-12 06:41

llama-factory微调Qwen2.5-7B-instruct实战，看这一篇就够了！！！（含windows和linux）

一.安装llama-factoryllama-factort的网站：https://github.com/hiyouga/LLaMA-Factory安装llama-factory很简单，打开github

亚伯拉罕·黄肯·2025-07-12 06:39

在LLM快速迭代时代构建持久AI应用：架构设计与实施策略

引言：技术浪潮下的开发困境大型语言模型(LLM)的发展速度令人瞠目：从GPT-3到GPT-4，从Claude1到Claude3，从Llama1到Llama3，迭代周期正在从"年"缩短到"月"。

·2025-07-12 02:44

LLaMA Factory：你的专属模型精修师

你是否曾对大语言模型（LLM）的强大能力心驰神往，却苦于以下难题？想定制专属模型？微调代码看不懂，环境配置太复杂…硬件资源有限？动辄需要数张A100，普通设备望而却步…中文任务不给力？原生模型中文理解弱，效果难达预期…部署门槛高？模型优化、压缩、服务化步步是坎？好消息是：LLaMAFactory来拯救你啦！它就像一家功能齐全的“模型精修店”，让你无需深厚AI功底，也能轻松定制、优化和部署大模型！一

jane_xing·2025-07-11 17:41

大模型 Agent（智能体）技术简介

——大模型的局限与Agent的使命传统的大语言模型（如GPT-4、Claude、Llama

北京地铁1号线·2025-07-11 11:35

MiniMind：3小时训练26MB微型语言模型，开源项目助力AI初学者快速入门

欢迎关注评论私信交流~在大型语言模型(LLaMA、GPT等)日益流行的今天，一个名为MiniMind的开源项目正在AI学习圈内引起广泛关注。

nine是个工程师·2025-07-10 08:33

人工智能开源的大模型训练微调框架LLaMA-Factory

LLaMA-Factory是一个开源的大模型训练微调框架，具有模块化设计和多种高效的训练方法，能够满足不同用户的需求。用户可以通过命令行或Web界面进行操作，实现个性化的语言模型微调。

·2025-07-10 04:37

TensorRT-LLM：大模型推理加速引擎的架构与实践

前言：技术背景与发展历程：随着GPT-4、LLaMA等千亿级参数模型的出现，传统推理框架面临三大瓶颈：显存占用高（单卡可达80GB）、计算延迟大（生成式推理需迭代处理）、硬件利用率低（Transformer

·2025-07-09 05:03

【LLM】Llama-Index 架构

数据源（DataSources）PDF/文档数据库API网页音频/视频知识库自定义源数据连接器（DataConnectors）用于从各种数据源提取和加载数据，以便进行索引和查询。1.SimpleDirectoryReader含义：简单目录读取器。功能：主要用于读取本地文件系统中的目录内容。它可以列出目录中的文件和子目录，通常用于文件管理或数据预处理阶段。例如，在一个数据处理项目中，你可能需要列出某

FOUR_A·2025-07-09 02:46

AI初学者如何对大模型进行微调？——零基础保姆级实战指南

注册后执行环境初始化pip3install--upgradepippip3installbitsandbytes>=0.39.0gitclone--depth1https://github.com/hiyouga/LLaMA-Factory

·2025-07-09 02:15

「论文导读」LLM高效推理与模型量化

1.论文背景作者：HugoTouvron等人，來自MetaAI来源：arXiv:2302.13971，2023年2月主题：介绍LLaMA系列模型（LLaMA-7B、13B、33B、65B），专为研究用途设计

雷羿 LexChien·2025-07-09 00:01

【深度学习新浪潮】什么是上下文长度？

例如，GPT-4支持128Ktoken的上下文，而Llama4Scout甚至达到了10Mtoken的惊人规模。这一指标直接影响模型在长文档理解、多轮对话等复杂任务中的表现。

小米玄戒Andrew·2025-07-08 22:50

大模型开源与国产化突围：技术路径与产业机遇深度解析

引言：大模型时代的双轨竞速2023年全球大语言模型（LLM）参数量突破万亿级，GPT-4、LLaMA等模型引领技术浪潮。中国在这场竞赛中面临双重命题：既要融入全球开源生态，又要构建自主可控的技术体系。

梦玄海·2025-07-08 21:13

大语言模型（LLM）课程学习（Curriculum Learning）、数据课程（data curriculum）指南：从原理到实践

在人工智能的浪潮之巅，我们总会惊叹于GPT-4、Llama3.1、Qwen2.5这些顶尖大语言模型（LLM）所展现出的惊人能力。它们似乎无所不知，能写诗、能编程、能进行复杂的逻辑推理。

·2025-07-08 06:34

量子计算+AI芯片：光子计算如何重构神经网络硬件生态

光子计算如何重构神经网络硬件生态——2025年超异构计算架构下的万亿参数模型训练革命产业拐点：英伟达BlackwellUltra发布光互连版GPU，IBM量子处理器突破512比特，光子计算商用成本降至$5/TOPS实测突破：Llama3

·2025-07-08 06:59

llama-cpp-python使用教程

以下是llama-cpp-python的完整使用教程，涵盖安装、基础用法、高级功能（如GPU加速、多模态等）和常见问题解决。

try2find·2025-07-07 15:11

10.2 ChatGPT自动生成训练数据实战：37.2%准确率提升秘籍

根据2023年GoogleResearch的实证研究，使用GPT-4生成的合成数据对LLaMA2进行微调，能达到人工标注数据85%的效果水平。

少林码僧·2025-07-07 09:30

Go 语言实现本地大模型聊天机器人：从推理到 Web UI 的全流程

接续Go-LLM-CPP专案，继续扩充前端聊天室功能一.专案目录架构：go-llm-cpp/├──bin/#第三方依赖│├──go-llama.cpp/#封裝GGUF模型推理（CGo）│└──llm-go

雷羿 LexChien·2025-07-07 09:55

【技术派专享】并行智算云：RTX 5090 免费算力深度评测 + 实战指南▎ 为什么开发者需要关注云端算力？

在微调Llama3、训练扩散模型或跑Kaggle比赛时，本地显卡（比如RTX3090/4090）常面临显存不足、训练慢、散热差等问题。

山顶望月川·2025-07-06 20:01

Llama改进之——RoPE旋转位置编码

目前很火的大模型LLaMA、QWen等都应用了旋转位置编码。

愤怒的可乐·2025-07-04 01:37

Llama改进之——分组查询注意力

引言今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-queryattention,GQA)1。Transformer中的多头注意力在解码阶段来说是一个性能瓶颈。