自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model

自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model

GPT模型简介

• 生成式预训练转换器（GPT）是由OpenAI团队构建的一系列基于深度学习的语言模型。GPT-3是一个预先训练过的NLP系统，提供了5000亿标记训练数据集，包括维基百科（wikipedia）和通用爬网（Common Crawl），它可以抓取大多数互联网页面。据称，由于其xunl数据集的全面性，它不需要特定领域的培训。

5000亿标记论文：https://arxiv.org/pdf/2005.14165.pdf

• 零次学习（Zero-shot Learning