面经总结系列（十六）： 元象科技大模型推理优化工程师

‍作者简介： CSDN、阿里云人工智能领域博客专家，新星计划计算机视觉导师，百度飞桨PPDE，专注大数据与AI知识分享。✨公众号：GoAI的学习小屋 ，免费分享书籍、简历、导图等，更有交流群分享宝藏资料，关注公众号回复“加群”或➡️点击链接 加群。

AI学习星球推荐： GoAI的学习社区 知识星球是一个致力于提供《机器学习 | 深度学习 | CV | NLP | 大模型 | 多模态 | AIGC 》各个最新AI方向综述、论文等成体系的学习资料，配有全面而有深度的专栏内容，包括不限于 前沿论文解读、资料共享、行业最新动态以、实践教程、求职相关（简历撰写技巧、面经资料与心得）多方面综合学习平台，强烈推荐AI小白及AI爱好者学习，性价比非常高！加入星球➡️点击链接

AI面经专栏总结： 本专栏主要为总结各小中大厂的面经系列总结，内容涵盖了多个热门技术领域，包括但不限于算法、机器学习、CV、NLP、大模型、测开、大数据、数分等，内容包括问题及详细答案，此外金邀请了行业内经验丰富的技术专家和面试官，分享面试经验和技巧，帮助求职者顺利通关各类技术面试。

算法工程师面经系列

元象科技 大模型推理优化工程师

1. 项目介绍

2. 实习项目的模型的改进方法

欠拟合是指模型在训练数据和测试数据上的表现都不好，无法捕捉数据中的潜在模式。欠拟合通常是因为模型过于简单，不足以学习数据中的复杂关系。以下是欠拟合的一些常见原因和解决方法：

原因

1. 模型复杂度不足：选择的模型过于简单，不能捕获数据的复杂性。例如，用线性回归来拟合高度非线性的数据。

2. 特征不足：输入特征不够全面，无法提供充分的信息让模型学习到数据的模式。

3. 过度正则化：正则化力度过大，导致模型过于简单化，从而忽略了数据中的重要模式。

4. 数据量不足：训练数据量太少，导致模型无法有效学习到数据的分布。

解决方法

1. 增加模型复杂度：

   • 使用更复杂的模型，例如从线性模型切换到多项式模型、决策树或神经网络。
   • 对于神经网络，可以增加层数或每层的神经元数量。

2. 增加特征数量：

   • 通过特征工程增加新的特征，比如多项式特征、交互特征等。
   • 使用特征选择和特征提取技术来增强模型的输入。

3. 调整正则化参数：

   • 减小正则化强度（例如减小L1/L2正则化系数），以便模型可以更灵活地拟合数据。

4. 增加训练数据量：

   • 收集更多的数据来帮助模型学习数据的底层分布。
   • 使用数据增强技术来扩充数据集。

5. 改进数据质量：

   • 通过清洗和整理数据来提高数据质量，使模型能够更好地学习。

6. 使用集成方法：

   • 结合多个简单模型，通过集成学习（如随机森林、梯度提升树）来提高模型的表达能力。

通过这些方法，可以有效地减少欠拟合，提高模型在训练集和测试集上的表现。

3. 欠拟合的原因和解决方法

4. 为什么transfomer的效果会更好？它是怎么对图像的边缘特征进行表征的？然后为什么它是Q K V三个向量而不是四个五个呢？
   (1) 因为它引入了自注意力机制和位置编码，这些机制使其具有出色的全局建模能力和并行计算能力。
   (2) 在自注意力机制和位置编码中对图像边缘特征进行表征，和其余的特征的处理过程没有什么不同。
   (3) 因为Q、K和V是自注意力机制的关键组成部分，它们具有以下作用：
   Q(查询): 用于确定模型应该关注的位置或特征。
   K(键): 用于计算查询与不同位置或特征之间的相似度得分。
   V(数值): 包含了真正的特征向量，用于计算最终的加权和。
   这三个向量的组合允许模型在不同位置之间建立关系并对特征进行加权。在不同应用中，可以调整它们的维度以适应不同的数据和任务。增加更多向量可能会引入不必要的复杂性，而减少向量可能会限制模型的能力，因此通常使用Q、K和V三个向量是一种权衡。

5. 怎么100万个数据中查找自己想要找的数
   (1) 哈希查找，时间复杂度O(1)
   (2) 排序+二分查找，建立二叉搜索树(AVL树、红黑树、b树)等，时间复杂度O(logn)
   (3) 遍历，O(n)

6. 怎么把两个无须的1TB的文件排序好放在一个文件里面
   归并排序，分布式处理

7. 移动通信中把信息从A传输到B，一般是用TCP还是UDP？
   分情况，如果是不注重可靠、更注重速度、实时性，可以用UDP，如果注重准确性、完整度，可以用TCP。大多数情况下都是用TCP。