吴恩达 ChatGPT Prompt Engineering for Developers 系列课程笔记--01 Introduction

01课程介绍Introduction

1) 两种LLM(Large Language Models)

吴恩达 ChatGPT Prompt Engineering for Developers 系列课程笔记--01 Introduction_第1张图片

  • Base LLM:根据训练数据自动预测下一个单词。例如:给定"Once upon a time, there was a unicorn",LLM会自动生成下面的文章"that lived in a magical forrest with …“。但当给定一个问题"What is the capital of France"时,LLM预测的内容很可能是"What is France’s largest city”,因为LLM的语料库中可能包含网上的调查问卷,问卷中两个"What"的问题互为上下文。
  • 指令学习LLM(Instruction Tuned LLM)。指令学习LLM在BaseLLM的基础上,用输入和输出来进一步微调模型,并采用RLHF令模型输出满足人类偏好的模型,输出更无害的结论。针对上述问题"What is France’s largest city",指令学习更可能给出我们期望的答案"The capital of France is Paris"。由于指令学习LLM相比于LLM的上述优势,很多企业、研究机构已经开始从Base LLM向Iinstruction Tuned LLM转型。本课程系列将重点关注Instruction Tuned LLM。

2) 指令的重要性

很多情况下,LLM表现效果不好时由于指令不清晰造成的,为此学习怎样设计合适的prompt是至关重要的。课程下一节将会细述。

下一篇:吴恩达 ChatGPT Prompt Engineering for Developers 系列课程笔记–02 Guidelines

deeplearning.ai 原课程地址

课程中文翻译地址

你可能感兴趣的:(chatgpt,语言模型,自然语言处理,ai,nlp)