【llm对话系统】大模型 Llama、Qwen 和 ChatGLM 的网络结构和训练方法对比

1. 引言

近年来，大型语言模型 (LLM) 取得了令人瞩目的进展，其中 Llama、Qwen 和 ChatGLM 是三个备受关注的开源模型。它们都在 Transformer 架构的基础上进行了改进和优化，并在各种 NLP 任务上取得了优异的性能。

本文将深入分析 Llama、Qwen 和 ChatGLM 的网络结构和训练方法，比较它们的异同以及各自的优势。

2. 模型结构对比

特性	Llama	Qwen	ChatGLM
基础架构	Decoder-only	Decoder-only	Encoder-Decoder (GLM架构，非传统意义)
预训练目标	Causal Language Modeling	Causal Language Modeling	Autoregressive Blank Infilling (自回归空格填充)
位置编码	Rotary Positional Embedding (RoPE)	Rotary Positional Embedding (RoPE)	2D RoPE (二维位置编码,类似transformer-xl)
归一化	RMS Norm	RMS Norm	Layer Norm (Pre-Normalization)
激活函数	SwiGLU	SwiGLU	GeGLU
注意力机制	GQA (Grouped-Query Attention)	GQA (Grouped-Query Attention), FlashAttention	Multi-head Attention, FlashAttention (可选)
分词器	SentencePiece (BPE)	Tiktoken (GPT-4 同款)	SentencePiece (BPE)
最大序列长度	4k (Llama2), 可外推	32k (Qwen-72B), 可外推	2k (ChatGLM-6B), 8k (ChatGLM2-6B), 可外推
参数量	7B, 13B, 34B, 70B	1.8B, 7B, 14B, 72B	6B, 12B
特色	开源且性能强大	支持更长的上下文和多语言; 微调代码丰富	双语支持，针对中文优化，推理性能强

2.1 基础架构：Decoder-only vs. Encoder-Decoder (GLM)

• Llama 和 Qwen 都采用了 Decoder-only 架构，这意味着它们只使用 Transformer 的解码器部分。Decoder-only 架构的模型擅长生成文本，因为它们在训练过程中只看到前面的 token，这与生成任务的自回归特性相符。
• ChatGLM 基于 GLM (Gen