一文详细梳理！大模型从理论到实战落地必备干货！零基础入门到精通，收藏这一篇就够了

在人工智能的浩瀚星辰中，大模型犹如璀璨的北极星，引领着技术的前沿方向。它们不仅代表了深度学习领域的最新突破，更成为了推动各行各业智能化转型的关键力量。本文笔者总结了大模型从理论研究到实战落地所需具备的所有知识干货，与大家分享~

基础知识

数学

• 深入浅出动态可视化数学之美(几何、微积分、概率论、线性代数等)：https://space.bilibili.com/88461692/

机器学习

• 吴恩达机器学习入门：https://www.coursera.org/learn/machine-learning

• scikit-learn官网：https://scikit-learn.org/stable/index.html

• 机器学习白板系列：https://www.yuque.com/bystander-wg876/yc5f72

• 机器学习实战：https://github.com/apachecn/AiLearning

• 南瓜书PumpkinBook：https://datawhalechina.github.io/pumpkin-book/

• 机器学习过程可视化：https://developers.google.cn/machine-learning/crash-course/feature-crosses/playground-exercises?hl=zh-cn

• 机器学习数据集仓库：https://archive.ics.uci.edu/

深度学习

• 跟李沐学AI：https://space.bilibili.com/1567748478?spm_id_from=333.337.0.0

• 台大李宏毅-机器学习：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php

• 零基础入门深度学习：https://www.zybuluo.com/hanbingtao/note/433855

• 深度学习500问：https://github.com/scutan90/DeepLearning-500-questions

• 吴恩达深度学习课程笔记及资源：http://www.ai-start.com/dl2017/

• 简单粗暴TensorFlow 2：https://tf.wiki/zh_hans/

• 卷积过程可视化：https://poloclub.github.io/cnn-explainer/

自然语言处理NLP

• 斯坦福NLP：https://web.stanford.edu/class/cs224n/

• 牛津NLP：https://github.com/oxford-cs-deepnlp-2017/lectures

• 跟踪NLP当前最新技术进度的项目：https://github.com/yuquanle/NLP-progress

• 中文NLP相关资料：https://github.com/crownpku/awesome-chinese-nlp

强化学习

• 蘑菇书EasyRL：

• https://datawhalechina.github.io/easy-rl/#/

• 动手学强化学习：

• https://github.com/boyu-ai/Hands-on-RL/tree/main

• 强化学习框架

• OpenRL：https://github.com/OpenRL-Lab/openrl

• RLAssistant(RLA)：https://github.com/xionghuichen/RLAssistant

• PARL：https://github.com/PaddlePaddle/PARL

• …

LLM训练

预训练PreTrain

• BackBones：

• https://github.com/FreedomIntelligence/LLMZoo

• Transformer

• 图解Transformer：https://jalammar.github.io/illustrated-transformer/

• 详解Transformer原理：https://www.cnblogs.com/justLittleStar/p/17322172.html

• Transformer模型Torch代码详解和训练实战：https://www.cnblogs.com/justLittleStar/p/17786071.html

• BERT

• BERT原理解析：https://www.cnblogs.com/justLittleStar/p/17322240.html

• BERT可视化：https://jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time/

• GPT

• GPT原理解析：https://www.cnblogs.com/justLittleStar/p/17322259.html

• 图解GPT2:https://jalammar.github.io/illustrated-gpt2/

• 60行代码实现GPT推理：https://www.cnblogs.com/justLittleStar/p/17925108.html

• T5：

• https://huggingface.co/google/flan-t5-xxl

• ChatGLM：

• https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm3.md

• Baichuan：

• https://gitee.com/mindspore/mindformers/blob/dev/research/baichuan2/baichuan2.md

• Qwen：

• https://zhuanlan.zhihu.com/p/690868924

• https://zhuanlan.zhihu.com/p/702491999

• https://huggingface.co/Qwen/Qwen-7B

• Qwen2大模型微调：

• Qwen部署到手机：

• LLaMA

• https://github.com/meta-llama/llama

• LLaMA2训练、推理全流程：https://blog.csdn.net/qq_27149279/article/details/131981984

监督微调(Supervised Fine-Tuning, SFT)

训练

• 一站式训练工具

• Firefly：https://github.com/yangjianxin1/Firefly

• LLaMA-Factory:https://github.com/hiyouga/LLaMA-Factory

• 微调框架

• Unsloth：https://github.com/yangjianxin1/unsloth

• PEFT：https://github.com/huggingface/peft

• 分布式AI框架

• https://github.com/microsoft/Megatron-DeepSpeed

• 【Megatron-DeepSpeed】张量并行工具代码mpu详解：https://blog.csdn.net/bqw18744018044/article/details/131741282

• Megatron源码图图图图解之分布式概览与模型切分：https://zhuanlan.zhihu.com/p/678208105

• https://github.com/microsoft/DeepSpeed

• DeepSpeed：AllReduce与ZeRO-DP：https://zhuanlan.zhihu.com/p/610587671

• https://github.com/NVIDIA/Megatron-LM

• 基于Megatron-LM从0到1完成GPT2模型预训练、模型评估及推理：https://juejin.cn/post/7259682893648724029

• 分布式训练原理及混合精度、DDP、DeepSpeed、Megatron-LM使用：https://zhuanlan.zhihu.com/p/647389318

• https://pytorch.org/tutorials/beginner/dist_overview.html

• PyTorch

• Megatron-LM