入门大模型神器：开源项目Happy LLM保姆级教程！

Happy-LLM

Happy-LLM——从零开始的大语言模型原理与实践教程。

本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这本书开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。

特点

• • Datawhale 开源免费 完全免费的学习本项目所有内容

• • 深入理解 Transformer 架构和注意力机制

• • 掌握 预训练语言模型的基本原理

• • 了解 现有大模型的基本结构

• • ️ 动手实现 一个完整的 LLaMA2 模型

• • ⚙️ 掌握训练 从预训练到微调的全流程

• • 实战应用 RAG、Agent 等前沿技术

主要内容

章节	内容
前言	本项目的缘起、背景及读者建议
第一章 NLP 基础概念	什么是 NLP、发展历程、任务分类、文本表示演进
第二章 Transformer 架构	注意力机制、Encoder-Decoder、手把手搭建 Transformer
第三章 预训练语言模型	Encoder-only、Encoder-Decoder、Decoder-Only 模型对比
第四章 大语言模型	LLM 定义、训练策略、涌现能力分析
第五章 动手搭建大模型	实现 LLaMA2、训练 Tokenizer、预训练小型 LLM
第六章 大模型训练实践	预训练、有监督微调、LoRA/QLoRA 高效微调
第七章 大模型应用	模型评测、RAG 检索增强、Agent 智能体
Extra Chapter LLM Blog	优秀的大模型 学习笔记/Blog ，欢迎大家来 PR ！

模型下载

Happy-LLM-Chapter5-Base-215M

基于 Pytorch 框架，模型大小为 215M，训练数据为出门问问序列猴子开源数据集，总量大概在 10B Token 左右。

模型下载

#安装ModelScope
pip install modelscope

#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('kmno4zx/happy-llm-215M-base')

模型使用

pip install -r requirements.txt

Happy-LLM-Chapter5-SFT-215M

基于 Pytorch 框架，模型大小为 215M，训练数据为BelleGroup，总量大概在 350万 条对话数据左右。

模型下载

#安装ModelScope
pip install modelscope

#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('kmno4zx/happy-llm-215M-sft')

模型使用

pip install -r requirements.txt

具体学习课程请查看官方地址！

开源地址

https://github.com/datawhalechina/happy-llm