大模型面经 | 介绍一下大模型微调方法Prefix Tuning、Prompt Tuning、P-Tuning和P-Tuning v2

大家好,我是皮先生!!

今天给大家分享一些关于大模型面试常见的面试题,希望对大家的面试有所帮助。

往期回顾:

大模型面经 | 春招、秋招算法面试常考八股文附答案(RAG专题一)

大模型面经 | 春招、秋招算法面试常考八股文附答案(RAG专题二)

大模型面经 | 春招、秋招算法面试常考八股文附答案(RAG专题三)

大模型面经 | 春招、秋招算法面试常考八股文附答案(一)

大模型面经 | 春招、秋招算法面试常考八股文附答案(二)
一文搞懂DeepSeek核心技术-多头潜在注意力(MLA)

一文搞懂DeepSeek核心技术-DeepSeekMoE

一文搞懂DeepSeek核心技术-GRPO

一文搞懂DeepSeek核心技术-MTP(Multi-Token Prediction)

1.Prefix Tuning

在Prefix Tuning之前的工作主要是人工设计离散的模版或者自动化搜索离散的模版。

对于人工设计的模版,模版的变化对模型最终的性能特别敏感,加一个词、少一个词或者变动位置都会造成比较大的变化。

而对于自动化搜索模版,成本也比较高;同时,以前这种离散化的token搜索出来的结果可能并不是最优的。

除此之外,传统的微调范式利用预

你可能感兴趣的:(大模型面经,面试,职场和发展,人工智能,深度学习,自然语言处理,算法,大模型微调)