LLaMA 第2页

手把手从零打造 Llama3：解锁下一代预训练模型

引言Llama3相较于Llama2，不仅在模型架构上做了显著优化，尤其是全局查询注意力机制（GQA）的引入，使得模型在大规模数据处理上表现更加出色。

会飞的Anthony·2025-07-04 01:35

从零实现Llama3：深入解析Transformer架构与实现细节

从零实现Llama3：深入解析Transformer架构与实现细节llama3-from-scratchllama3一次实现一个矩阵乘法。

祁婉菲Flora·2025-07-04 00:05

PyTorch-Llama: 从零开始实现LLaMA 2模型教程

PyTorch-Llama:从零开始实现LLaMA2模型教程pytorch-llamaLLaMA2implementedfromscratchinPyTorch项目地址:https://gitcode.com

乔昕连·2025-07-04 00:05

LoRA微调详解：如何为AIGC模型节省90%显存

LoRA微调详解：如何为AIGC模型节省90%显存关键词：LoRA、低秩适应、AIGC模型、参数高效微调、显存优化摘要：在AIGC（人工智能生成内容）领域，大模型（如GPT-3、LLaMA、StableDiffusion

SuperAGI2025·2025-07-03 19:00

巨头开源的背后，是价格战还是价值战？

放眼全球，谷歌在发布其王牌模型Gemini2.5Pro时，选择开源其衍生的轻量级模型Gemma，Meta的LLaMA虽名为开源，却始终带着商业限制的“镣铐”……他们小心谨慎地通过开源开放吸引全球开发者的关注

CSDN资讯·2025-07-03 10:51

千亿参数大模型轻量化实战：手机端LLM推理加速300%方案

千亿参数大模型轻量化实战：手机端LLM推理加速300%方案》副标题：2025实测骁龙8Gen4+FP4稀疏量化技术，70B模型推理延迟低至127ms，重构移动端AI天花板封面图：[高通骁龙8Gen4芯片显微照片与Llama3

·2025-07-03 00:33

【LLaMA 3实战：检索增强】13、LLaMA 3+RAG精准问答系统优化全指南：从检索增强到可信度提升实战

一、RAG赋能LLaMA问答系统的核心价值与瓶颈突破（一）准确性提升的三大核心挑战问题类型典型表现传统方案局限RAG+LLaMA3解决方案知识滞后型错误回答包含过时技术细节依赖模型预训练更新动态检索最新文档库上下文误解曲解问题意图或检索内容固定分块导致语义断裂语义感知分块

无心水·2025-07-02 07:53

基于llama-factory+ollama+vllm加速大模型训推生产

目录一、名称解释1.1产品定义二、llama-factory工具使用2.1基础镜像2.2、模型训练2.2.1以Qwen2.5-7B-Instruct为例

zwxu_·2025-07-02 04:39

LoRA 实战指南：NLP 与 CV 场景的高效微调方法全解析

国产生态实战：基于LLaMA-Factory+DeepSeek+LoRA+FastAPI

fairymt·2025-07-02 00:11

AI:微调框架 LLaMA-Factory（Large Language Model Factory）

LLaMA-Factory（LargeLanguageModelFactory）是由北航团队开源的高效大语言模型（LLM）微调框架，旨在简化大型语言模型的定制化训练流程，支持超过100种主流模型和多种先进微调技术

xyzroundo·2025-07-02 00:40

【LLaMA 3实战】3、LLaMA 3长文本处理终极指南：从128K上下文到百万级文档实战

引言：长文本处理的技术跃迁当LLaMA3将上下文窗口扩展至128Ktokens（约8万字），长文本处理技术迎来了革命性突破。

无心水·2025-06-30 18:45

【LLaMA 3实战】2、LLaMA 3对话能力全解析：从架构革新到多智能体实战指南

引言：LLaMA3对话能力的革命性突破当Meta发布LLaMA3时，其对话能力的跃升重新定义了开源大模型的边界。

无心水·2025-06-30 18:14

【LLaMA 3实战】6、LLaMA 3上下文学习指南：从少样本提示到企业级应用实战

一、上下文学习（ICL）的技术本质与LLaMA3突破（一）ICL的核心原理与模型机制上下文学习（In-ContextLearning）的本质是通过提示词激活预训练模型的元学习能力，使模型无需微调即可适应新任务

无心水·2025-06-30 12:03

本地运行大型语言模型(LLM)的实践指南

技术背景介绍近年来，项目如llama.cpp、Ollama、GPT4All等的流行标志着在本地设备上运行大型语言模型（LLM）的需求日益增长。选择在本地运行LLM，至少有两个重要的好处：隐私和成本。

yunwu12777·2025-06-30 11:58

AIGC领域Prompt工程：原理、方法与行业应用

方法与行业应用关键词：Prompt工程、大语言模型（LLM）、提示设计、少样本学习、AIGC应用、思维链（CoT）、提示优化摘要：随着AIGC（人工智能生成内容）技术的爆发式发展，大语言模型（如GPT-4、LLaMA

AI天才研究院·2025-06-29 17:04

微调大语言模型(生成任务)，怎么评估它到底“变好”了？

随着大语言模型（如GPT、LLaMA）的广泛应用，越来越多团队开始基于它们做微调，定制符合自己业务需求的模型。微调虽能让模型更贴合任务，但评估是否真的“变好”却不是简单的事。

茫茫人海一粒沙·2025-06-29 09:38

LLaMA Factory 微调后，迁移模型

方法1：使用HuggingFaceHub（最推荐）fromtransformersimportAutoModelForCausalLM,AutoTokenizer#在源服务器上保存模型到Hubmodel.push_to_hub("your-username/your-model-name")tokenizer.push_to_hub("your-username/your-model-name")

激进小猪1002·2025-06-28 18:17

开源浪潮之巅：当前最热门的开源项目全景图

万能小贤哥·2025-06-27 08:31

如何使本地大模型拥有联网搜索的能力？

要让本地部署的大模型（如DeepSeek、LLaMA、ChatGLM等）具备联网搜索能力，需要将模型与外部工具结合，通过API调用、插件或代理机制实现实时信息获取。

SugarPPig·2025-06-27 04:28

LLama-Factory 遇到的问题

目录一、LLama-Factory安装二、LLama-Factory遇到的问题（一）包不兼容问题（二）使用文件路径，加载模型一、LLama-Factory安装参考官网介绍：https://github.com

·2025-06-27 02:10

大模型应用10种架构模式全解析：从理论到实战的技术指南

近年来，以GPT-4、LLaMA、PaLM为代表的大模型彻底改变了人工智能的应用范式。然而，如何高效地将这些“庞然大物”落地到实际业务中，仍是开发者面临的核心挑战。

ai大模型雪糕·2025-06-25 20:47

如何在Spring AI中配置多模型切换

在SpringAI中配置多模型切换（例如同时使用OpenAI、Gemini或本地Llama2），可以通过Bean别名或动态运行时选择实现。

友莘居士·2025-06-25 08:50

15.2 LLaMA 3面试模拟神器：动态难度调节+实时反馈，大厂通过率提升90%

LLaMA3面试模拟神器：动态难度调节+实时反馈，大厂通过率提升90%关键词：对话系统设计、场景化提示工程、LLaMA3微调、多轮对话管理、面试模拟Agent技术面试场景Agent设计核心逻辑通过多阶段对话流程控制和动态难度调节实现真实面试模拟

少林码僧·2025-06-25 06:06

灵哥教你玩转Llama3：解决NCCL缺失问题

解决NCCL缺失问题有很多小伙伴私信灵哥:官网的llama3模型用不了,运行会报错灵哥按照官网给的启动命令，确实启动不了torchrun--nproc_per_node1example_chat_completion.py

灵哥讲AI·2025-06-25 06:30

当AI拥有空间直觉：SpatialLM如何让机器“看懂”三维世界？

开源地址：https://huggingface.co/manycore-research/SpatialLM-Llama-1B你是否想象过，只需用手机拍一段视频，AI就能像人类一样理解房间的布局、家具的位置

遇见小码·2025-06-24 15:15

Ollama常用命令

1、下载OllamaLinux系统的安装命令如下：curl-fsSLhttps://ollama.com/install.sh|sh2、进入llama3运行环境：ollamarunllama33、启动服务

大模型老炮·2025-06-24 13:29

15.3 LLaMA 3+LangChain实战：智能点餐Agent多轮对话设计落地，订单准确率提升90%！

LLaMA3+LangChain实战：智能点餐Agent多轮对话设计落地，订单准确率提升90%！

少林码僧·2025-06-23 23:05

二、【LLaMA-Factory实战】数据工程全流程：从格式规范到高质量数据集构建

LLaMA-Factory提供了完整的数据工程工具链，支持从数据格式规范到清洗增强、注册验证的全流程管理。本文结合结构图、实战代码和生产级经验，带您掌握构建高质量数据集的核心技术。

陈奕昆·2025-06-23 11:40

LLaMA-Factory多模态训练：从文本到图像的综合应用

摘要本文深入探讨了LLaMA-Factory框架中的多模态训练技术。从基础的文本-图像对齐到复杂的多模态理解，全面介绍了如何利用LLaMA-Factory进行多模态模型的训练和优化。

CarlowZJ·2025-06-23 11:40

【LLaMA-Factory 实战系列】一、数据准备篇 - 从文本到多模态的完整流程

【LLaMA-Factory实战系列】一、数据准备篇-从文本到多模态的完整流程1.引言2.LLaMA-Factory数据格式概述2.1Alpaca格式2.2ShareGPT格式3.文本数据准备3.1Alpaca

Zhijun.li@Studio·2025-06-23 11:08

输入GSM8K数据集对Llama2-int4模型进行性能评估

思路：逐条输入GSM8K数据集获得模型输出并于数据集中的回答进行比对fromllama_cppimportLlama#从llama_cpp导入Llama类，用于加载并调用Llama模型importtime

Nnbwbyhxy·2025-06-23 03:47

大模型学习路线：这会是你见过最全最新的大模型学习路线【2025最新】

大模型学习路线建议先从主流的Llama开始，然后选用中文的Qwen/Baichuan/ChatGLM，先快速上手体验prompt工程，然后再学习其架构，跑微调脚本如果要深入学习，建议再按以下步骤，从更基础的

大模型入门学习·2025-06-23 00:56

大模型系列——VLLM 部署当前最火大模型llama4

大模型——VLLM部署当前最火大模型llama4最近llama4火车圈了，不愧是大模型界的当红炸子鸡，号称宇宙最强大模型，这里我们快速尝鲜，看看怎么快速部署，首先我们需要知道当前的llama4是没有办法用

猫猫姐·2025-06-22 22:41

ChatMusician：用大模型理解并创造音乐

ChatMusician由SkyworkAIPTE.LTD.和香港科技大学的研究团队共同开发，它基于持续预训练和微调的LLaMA2模型，并通过一种文本兼容的音乐表示法——ABC符号，将音乐作为第二语言来处理

人工智能大模型讲师培训咨询叶梓·2025-06-22 19:19

NF4量化算法的PyTorch实现

为了方便理解NF4算法的实现，这里用PyTorch实现了一版可以和CUDANF4精度对齐的量化和反量化函数，并使用llama-3.1-8b模型进行测试，可以做到和CUDA实现的算子精度基本对齐（仅反量化存在少许误差

风好衣轻·2025-06-22 18:48

Llama 4模型卡片及提示词模板

Llama4模型卡片及提示词模板Llama4模型卡及提示格式介绍Llama4模型概述Llama4是一系列预训练和指令微调的混合专家（Mixture-of-Experts,MoE）大语言模型，包含两种规模

大模型与Agent智能体·2025-06-21 23:44

什么是 QLoRA（Quantized Low-Rank Adaptation，量化低秩适配）

QLoRA结合了4-bit量化（quantization）和LoRA的低秩更新技术，使超大规模模型（如70B参数的LLaMA）能够在单GPU上进行高效微调，同时保持与全参数微调相近的性能。

彬彬侠·2025-06-21 06:23

Streamlit在人工智能中的应用场景

Streamlit在AI大模型（如GPT、LLaMA、Claude等）和RAG（检索增强生成）中的应用非常广泛，它能够快速构建交互式界面，让用户直观体验大模型的能力，并灵活调整参数或输入数据。

不老刘·2025-06-20 18:37

LangChain 本地模型部署指南：Llama3 与 Open-WebUI 的可视化交互开发

技术点目录第一章、智能体(Agent)入门第二章、基于字节Coze构建智能体(Agent)第三章、基于其他平台构建智能体（Agent）第四章、国内外智能体(Agent)经典案例详解第五章、大语言模型应用开发框架LangChain入门第六章、基于LangChain的大模型API接入第七章、基于LangChain的智能体(Agent)开发第八章、开源大语言模型及本地部署第九章、从0到1搭建第一个大语言

zm-v-15930433986·2025-06-20 16:49

别让GPU摸鱼！榨干它！

我们也知道，如今各大优秀模型如DeepSeek、Llama、Gemini厂商除了卷算力，也都开始在工程化、算法等方面进行优化，以便更高效地利用GPU资源，节省成本。

九章云极DataCanvas·2025-06-20 10:13

RAG执行代码报错 “no module named ‘llama_index.vector_stores‘“

RAG执行代码报错“nomodulenamed‘llama_index.vector_stores’”一、问题importchromadbfromllama_index.coreimportVectorStoreIndex

·2025-06-19 22:11

Llama_Index核心组件介绍

文章目录一、什么是LlamaIndex1.简介2.作用二、LlamaIndex核心组件1.数据连接器（DataConnectors）2.数据索引（DataIndexes）3.引擎（Engines）4.数据代理（DataAgents）5.应用集成（ApplicationIntegrations）三、LlamaIndex核心概念1.RAG1，索引2，查询2.索引阶段1，Dataconnectors2，

智模睿脑君·2025-06-19 22:10

llama_index chromadb实现RAG的简单应用

此demo是自己提的一个需求：用modelscope下载的本地大模型实现RAG应用。毕竟大模型本地化有利于微调，RAG使内容更有依据。为什么要用RAG？由于大模型存在一定的局限性：知识时效性不足、专业领域覆盖有限以及生成结果易出现“幻觉”问题，需要通过结合实时数据和专业知识提升生成内容的准确性、时效性和可信度。‌‌检索增强生成（RAG）的核心价值在于弥补大模型固有缺陷一个简单样例加载本地大语言模型

victorwjw·2025-06-19 21:07

端侧可用的 GPT-4V 级单图、多图、视频多模态大模型

端侧可用的GPT-4V级单图、多图、视频多模态大模型中文|EnglishMiniCPM-V2.6|MiniCPM-Llama3-V2.5|MiniCPM-Llama3-V2.5技术报告M

强化学习曾小健·2025-06-17 11:00

（什么是）大模型的“越狱”（Model Jailbreaking）

大模型的“越狱”（ModelJailbreaking）是指通过特定技术手段或策略，绕过大型语言模型（如GPT、Llama、Claude等）内置的安全机制和伦理限制，诱导模型生成原本被禁止的内容（如暴力、

音程·2025-06-17 09:48

大模型微调(Fine-tuning)概览

大模型微调（Fine-Tuning）是将预训练大模型（如GPT、LLaMA）适配到特定任务或领域的核心技术，其效率与效果直接影响大模型的落地价值。

MzKyle·2025-06-17 08:39

llama3源码解读之推理-infer

文章目录前言一、整体源码解读1、完整main源码2、tokenizer加载3、llama3模型加载4、llama3测试数据文本加载5、llama3模型推理模块1、模型推理模块的数据处理2、模型推理模块的

tangjunjun-owen·2025-06-16 05:05

我可以理解llama.cpp是用C++实现了算法，而其他项目一般用python实现？

llama.cpp项目:主要用于推理和部署。下面我们来详细对比一下这两种方式的异同和优劣。范式一：Python+C++/CUDA后端(主流方式)这是绝大多数AI项目（包

欧先生^_^·2025-06-16 05:35

探索未来的对话：llama.cpp 开源项目深度解析

探索未来的对话：llama.cpp开源项目深度解析llama.cppPortofFacebook'sLLaMAmodelinC/C++项目地址:https://gitcode.com/gh_mirrors

幸桔伶·2025-06-16 05:03

深度解析一下 llama.cpp 的源代码

我们来深度解析一下llama.cpp的源代码。llama.cpp是一个非常了不起的项目，它的核心目标是让大型语言模型（LLM）能够在消费级硬件（甚至是手机）上高效运行。

欧先生^_^·2025-06-16 05:03

推荐频道

LLaMA