务必收藏！大模型常见面试题汇总与详解

今日，为大家分享大模型面试的相关知识点，喜欢的话记得收藏、关注和点赞哦。

面试精选

1. RAG 技术体系的总体思路

   • 数据预处理。
   • 分块（此步骤极为关键，有时能决定模型的效果）。
   • 文本向量化。
   • query 向量化。
   • 向量检索。
   • 重排。
   • 将 query 与检索内容输入 LLM，最终输出结果。

2. 使用外挂知识库主要为了解决什么问题

   • 克服遗忘问题。
   • 提升回答的准确性、权威性和时效性。
   • 解决通用模型在一些小众领域未涉猎的问题。
   • 提高可控性和可解释性，增强模型的可信度和安全性。

3. 如何评价 RAG 项目效果的好坏

   • 针对检索环节的评估：
     • MMR（平均倒排率）：查询（或推荐请求）的排名倒数。
     • Hits Rate（命中率）：前 k 项中，包含正确信息的项的数目占比。
     • NDCG。
   • 针对生成环节的评估：
     • 非量化：完整性、正确性、相关性。
     • 量化：Rouge - L。

4. 大模型的幻觉问题、复读机问题是什么

   • 幻觉问题：生成的内容无意义或不忠实于提供的源内容。
   • 复读机问题：重复生成某些话语。

5. 针对问题 4，有没有什么解决办法

   • 针对幻觉问题：引入外挂知识库，加入纠偏规则，限制输出长度等。
   • 针对复读机问题：
     • 丰富数据集的多样性，预处理时尽量过滤重复无意义的文本。
     • 进行同义词替换等数据增强操作。
     • 调整温度参数。
     • 进行后处理与过滤。
       

6. 出现问题 4 的原因有哪些

   • 针对幻觉问题：幻觉问题主要分为两大类。一类是生成结果与数据源不一致，自相矛盾。可能是训练数据和源数据不一致、数据没对齐或者编码器理解能力的缺陷和解码器策略错误导致。另一类是用户问题超出了大模型的认知范围。
   • 针对复读机问题：数据质量不高，存在大量单一、重复文本，文本过长。当条件文本过长时，大模型的输出短文本会被原始长文本淹没，继续预测下一个 token 时，在模型看来条件可能仍然相似，若使用 greedy search 只选择概率最大的 token，模型极大可能会将前面已生成的短文本重新预测为概率最大的文本，如此反复。

7. 当前主流的开源大模型是哪个，其架构具体是怎样的？

   • 当前开源影响范围最广、生态建设最好的开源大模型是 Meta 的 LLaMA。它依旧采用 Transformers 架构，并做了如下改动：
     • 为提高训练稳定性，对每个子层做输入前置归一化，归一化函数为 RMSNorm（受 GPT - 3 启发）。
     • 为提升性能，用 SwiGLU 激活函数替换 ReLU 激活函数（受 PaLM 启发）。
     • 从绝对位置嵌入改为旋转嵌入（受 GPT - neo 启发）。
     • 使用 causal multi - head attention 的高效实现来减少内存占用和运行时间。

8. 有哪几种 SFT 方法

   • 全微调。
   • Adapter Tuning。
   • Prefix Tuning。
   • Prompt Tuning。
   • P - Tuning v1。
   • lora。
   • RLHF。
   • （SFT 时，将学习率设置为预训练阶段的 10%，一般能取得不错的效果）。

9. 什么是 lora 微调

   • 在原始预训练语言模型（Pre - trained Language Model）旁边增加一个旁路，进行降维再升维的操作，以模拟所谓的 intrinsic rank。训练时固定预训练语言模型的参数，只训练降维矩阵 A 与升维矩阵 B。模型的输入输出维度不变，输出时将 BA 与预训练语言模型的参数叠加。用随机高斯分布初始化 A，用 0 矩阵初始化 B，确保训练开始时此旁路矩阵为 0 矩阵。

10. RAG 的检索阶段，常见的向量检索模型有哪些？

• ANN 算法。
• 乘积向量。
• 暴力搜索。
• hnswlib。
• KD 树。