普通人学AI:如何最简单、通俗地理解大模型?

前言

AI浪潮已经来袭,我们每个人都身处其中,我相信,每个人都有必要学习AI。

但问题是,该从何学起?我相信这是大部分之前没接触过AI的人的问题,我也是其中一员。我不是AI科学家,之前也没有技术基础,所以,我想将自己的学习结果记录下来,一方面是用自己能理解的话讲出来自己学到的知识,另外一方面也是分享给所有想要在这波浪潮中不被冲走的人。

我是一个不懂技术的普通人,所以这个系列就叫做「普通人学AI」,以下是该系列的第一篇文章。


大模型,英文名叫Large Model,即大型模型。大模型是一个简称。完整的叫法,应该是“人工智能预训练大模型”。但是在网上翻一翻科普,会有不少文章将大模型对应的英文名写为LLM,即大型语言模型(Large Language Model)。

因此本篇文章会从Large Model和Large Language Model两个维度帮大家理解下大模型到底是什么。

一、Large Model

要理解大模型,本质上是理解“大”和“模型”两个词。

首先,我们先理解什么是模型。

模型是事物的抽象,可用于描述、解释和预测事物。例如数学公式、物理装置、计算机程序、人体模型都可以称为模型。在人工智能领域,模型相当于计算机通过"看案例学经验"练成的本领。举个简单的例子:我们想让人工智能来识别图像里有没有猫,该怎么做呢?

普通人学AI:如何最简单、通俗地理解大模型?_第1张图片

第一步,我们要准备数据。我们将大量有猫的图片和没有猫的图片做好标记,有猫的图片我们标记为1,没有猫的图片我们标记为0。

第二步,用准备好的数据训练人工智能模型。我们将图片和标记的数据输入给人工智能算法,让它总结出一套规则来区分有猫的图片和没有猫的图片。比如,有猫的情况下,图片中应该有耳朵、胡须、毛茸茸的毛发等等。当然,彩色图片在计算机中实际上对应的是一个像素值的矩阵,人工智能识别的模式也通常是抽象的数字表示。这时候我们已经得到一个模型了,可以命名为「猫咪识别模型」!

第三步,模型验证。我们要预留一部分数据来检验模型效果。如果我们发现模型在数据上表现不佳,比如过拟合(指在某些特定数据上才表现效果好,比如只能识别橘猫),准确率低(常常把没有猫判断成有猫),那我们就需要调整模型。可以增加数据量、调整模型参数,甚至更换一种算法框架等等。当模型在大部分数据上表现都很好的时候,就可以上线了!

第四步,数据预测。将随机找到的图片输入「猫咪探测模型」,让它给出图片中是否有猫的判断。

更进一步,我们还可以训练模型,基于它学到的规则,来生成包含猫的图片,也就是数据生成。

如果我们将识别猫,改成理解文字、预测并生成下一段文字,那就是大模型的基本流程了(更深层的还需要再看看自然语言处理模型相关的内容)。

再理解什么是大,它主要体现在两个方面。

首先是数据量大。大模型用于训练的数据量通常是数百GB或TB以上,以OpenAI的GPT 4.0为例,其训练时用了13万亿个token(自然语言文本基本单位),量级至少TB以上。就像一个博览群书、知识渊博的人一样,训练数据量大的好处是,模型可以充分的学习到数据中的模式和特征,在更广泛的场景下有更好的效果。

其次,大模型的参数量大。在简单的线性回归模型y=Ax+B中,A和B是模型中的两个参数。而对于大模型,参数将达到数亿到数万亿。以OpenAI的GPT 4.0为例,它有1.8万亿参数。就像成年人大脑内有数亿个活跃神经元,参数量大意味着大模型可以理解更复杂的事情,从数据中学习到更复杂的规则。

研究表明,随着模型的规模(如参数数量、数据量、计算量)增大,其性能通常会随之提高;同时模型达到一定的规模时,它会表现出一些在小模型中不曾出现的新能力(如常识推理、创作能力),这些能力不是被特意设计或训练出来的,而模型的规模增长中“涌现”出来的,被称为涌现能力(Emergent abilities)。

“读书破万卷,下笔如有神”。这也就是为什么大模型规模大、效果好的原因了。

二、Large Language Model

Large Language Model即语言大模型,它实际上特指大模型的其中一类,比如最近火热的DeepSeek就是语言大模型。

除了语言大模型之外,还有视觉大模型、多模态大模型等。现在,包括所有类别在内的大模型合集,被称为广义的大模型。而语言大模型,被称为狭义的大模型。

所以,『大模型』实质是中文语境下对『大语言模型』的简称,但是把『语言』两个字省略之后,的确容易造成一些张冠李戴的误解。

三、大模型名词

大模型的名词有很多,作为普通人,我们就了解参数量和token这两个名词应对日常使用就可以了。

首先,我们来解释下参数。

想象你是个大厨,要炒一盘鱼香肉丝。你需要决定:放多少盐、多少糖、多少醋、火候多大……这些“调料比例”和“操作细节”就是参数。

大模型的参数同理:它是模型内部“做决定”时用到的“调料比例”,比如判断一句话的情感是正面还是负面时,哪些词更重要、哪些组合更关键,全靠参数来调节。

一般来说,大模型的参数量越大模型效果越好,这就好比做菜时你的调料有盐、糖、醋、辣椒、花椒……(参数少只能放盐和糖),能调出更复杂的味道。 而且参数量多的模型见过更多组合模式(比如“虽然……但是”“不仅……还”),能处理更微妙的语境。

但是参数量大也带来一些问题,比如算力要求高、容易钻牛角尖(过拟合)、难以解释(黑箱问题)。

我们作为普通人了解到这里就够了,只要记住同一系列的模型参数量越大效果越好,使用模型时,留意下参数量,别被一些平台钻了空子(比如宣称DeepSeek满血版实际上只是32b的蒸馏模型)。

其次,我们来了解下token。

简单来说,token 就是大模型处理文本时的 “小砖头” 。不管是咱们平时敲的一段话,还是一篇长长的文章,大模型都没办法直接 “啃”,得先把它们拆分成一个个的 token。

在英文里,常见的token可能就是一个单词,像 “cat”、“dog” 这种简单的单词,还有 “watermelon”、“helicopter” 这些长一点的单词,都能成为一个token。

中文就有点不一样,因为中文词和词之间没有空格分开,所以token可能是一个汉字,像 “我”、“爱”;也可能是一个词语,像 “手机”、“互联网” 。标点符号有时候也会被当作单独的token,就好比是文章里的小零件,每个都有它的作用。比如说 “今天天气真好!” 这句话,在大模型处理的时候,“今天”、“天气”、“真好” 是常见的token,感叹号 “!” 也可能会被当成一个token,它能传达出这句话的语气信息。

在实际使用大模型的过程中,理解 token 数的计算方式对于把握使用成本和模型性能十分关键。模型厂商计算 token 数时,会将用户提问和大模型回答所包含的 token 数量相加进行结算。

最后,给大家总结下市面上常见的大模型类型。

根据训练的数据类型和应用方向,我们通常会将大模型分为语言大模型(以文本数据进行训练)、音频大模型(以音频数据进行训练)、视觉大模型(以图像数据进行训练),以及多模态大模型(文本和图像都有):

  • 语言大模型,擅长自然语言处理(NLP)领域,能够理解、生成和处理人类语言,常用于文本内容创作(生成文章、诗歌、代码)、文献分析、摘要汇总、机器翻译等场景。大家熟悉的ChatGPT,就属于此类模型。
  • 音频大模型,可以识别和生产语音内容,常用于语音助手、语音客服、智能家居语音控制等场景。
  • 视觉大模型,擅长计算机视觉(CV)领域,可以识别、生成甚至修复图像,常用于安防监控、自动驾驶、医学以及天文图像分析等场景。
  • 多模态大模型,结合了NLP和CV的能力,通过整合并处理来自不同模态的信息(文本、图像、音频和视频等),可以处理跨领域的任务,例如文生图,文生视频、跨媒体搜索(通过上传图,搜索和图有关的文字描述)等。

普通人如何抓住AI大模型的风口?

领取方式在文末

为什么要学习大模型?

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。

目前,开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景,其中,应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
在这里插入图片描述

随着AI大模型技术的迅速发展,相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业:

在这里插入图片描述

人工智能大潮已来,不加入就可能被淘汰。如果你是技术人,尤其是互联网从业者,现在就开始学习AI大模型技术,真的是给你的人生一个重要建议!

最后

如果你真的想学习大模型,请不要去网上找那些零零碎碎的教程,真的很难学懂!你可以根据我这个学习路线和系统资料,制定一套学习计划,只要你肯花时间沉下心去学习,它们一定能帮到你!

大模型全套学习资料领取

这里我整理了一份AI大模型入门到进阶全套学习包,包含学习路线+实战案例+视频+书籍PDF+面试题+DeepSeek部署包和技巧,需要的小伙伴文在下方免费领取哦,真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

在这里插入图片描述

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段
在这里插入图片描述

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,皆可用。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

三、视频和书籍PDF合集

从入门到进阶这里都有,跟着老师学习事半功倍。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

四、LLM面试题

在这里插入图片描述
在这里插入图片描述

五、AI产品经理面试题

在这里插入图片描述

六、deepseek部署包+技巧大全

在这里插入图片描述

朋友们如果有需要的话,可以V扫描下方二维码联系领取~
在这里插入图片描述

你可能感兴趣的:(人工智能,学习,AI编程,langchain,大模型,ai,程序员)