AI浪潮已经来袭,我们每个人都身处其中,我相信,每个人都有必要学习AI。
但问题是,该从何学起?我相信这是大部分之前没接触过AI的人的问题,我也是其中一员。我不是AI科学家,之前也没有技术基础,所以,我想将自己的学习结果记录下来,一方面是用自己能理解的话讲出来自己学到的知识,另外一方面也是分享给所有想要在这波浪潮中不被冲走的人。
我是一个不懂技术的普通人,所以这个系列就叫做「普通人学AI」,以下是该系列的第一篇文章。
大模型,英文名叫Large Model,即大型模型。大模型是一个简称。完整的叫法,应该是“人工智能预训练大模型”。但是在网上翻一翻科普,会有不少文章将大模型对应的英文名写为LLM,即大型语言模型(Large Language Model)。
因此本篇文章会从Large Model和Large Language Model两个维度帮大家理解下大模型到底是什么。
要理解大模型,本质上是理解“大”和“模型”两个词。
首先,我们先理解什么是模型。
模型是事物的抽象,可用于描述、解释和预测事物。例如数学公式、物理装置、计算机程序、人体模型都可以称为模型。在人工智能领域,模型相当于计算机通过"看案例学经验"练成的本领。举个简单的例子:我们想让人工智能来识别图像里有没有猫,该怎么做呢?
第一步,我们要准备数据。我们将大量有猫的图片和没有猫的图片做好标记,有猫的图片我们标记为1,没有猫的图片我们标记为0。
第二步,用准备好的数据训练人工智能模型。我们将图片和标记的数据输入给人工智能算法,让它总结出一套规则来区分有猫的图片和没有猫的图片。比如,有猫的情况下,图片中应该有耳朵、胡须、毛茸茸的毛发等等。当然,彩色图片在计算机中实际上对应的是一个像素值的矩阵,人工智能识别的模式也通常是抽象的数字表示。这时候我们已经得到一个模型了,可以命名为「猫咪识别模型」!
第三步,模型验证。我们要预留一部分数据来检验模型效果。如果我们发现模型在数据上表现不佳,比如过拟合(指在某些特定数据上才表现效果好,比如只能识别橘猫),准确率低(常常把没有猫判断成有猫),那我们就需要调整模型。可以增加数据量、调整模型参数,甚至更换一种算法框架等等。当模型在大部分数据上表现都很好的时候,就可以上线了!
第四步,数据预测。将随机找到的图片输入「猫咪探测模型」,让它给出图片中是否有猫的判断。
更进一步,我们还可以训练模型,基于它学到的规则,来生成包含猫的图片,也就是数据生成。
如果我们将识别猫,改成理解文字、预测并生成下一段文字,那就是大模型的基本流程了(更深层的还需要再看看自然语言处理模型相关的内容)。
再理解什么是大,它主要体现在两个方面。
首先是数据量大。大模型用于训练的数据量通常是数百GB或TB以上,以OpenAI的GPT 4.0为例,其训练时用了13万亿个token(自然语言文本基本单位),量级至少TB以上。就像一个博览群书、知识渊博的人一样,训练数据量大的好处是,模型可以充分的学习到数据中的模式和特征,在更广泛的场景下有更好的效果。
其次,大模型的参数量大。在简单的线性回归模型y=Ax+B中,A和B是模型中的两个参数。而对于大模型,参数将达到数亿到数万亿。以OpenAI的GPT 4.0为例,它有1.8万亿参数。就像成年人大脑内有数亿个活跃神经元,参数量大意味着大模型可以理解更复杂的事情,从数据中学习到更复杂的规则。
研究表明,随着模型的规模(如参数数量、数据量、计算量)增大,其性能通常会随之提高;同时模型达到一定的规模时,它会表现出一些在小模型中不曾出现的新能力(如常识推理、创作能力),这些能力不是被特意设计或训练出来的,而模型的规模增长中“涌现”出来的,被称为涌现能力(Emergent abilities)。
“读书破万卷,下笔如有神”。这也就是为什么大模型规模大、效果好的原因了。
Large Language Model即语言大模型,它实际上特指大模型的其中一类,比如最近火热的DeepSeek就是语言大模型。
除了语言大模型之外,还有视觉大模型、多模态大模型等。现在,包括所有类别在内的大模型合集,被称为广义的大模型。而语言大模型,被称为狭义的大模型。
所以,『大模型』实质是中文语境下对『大语言模型』的简称,但是把『语言』两个字省略之后,的确容易造成一些张冠李戴的误解。
三、大模型名词
大模型的名词有很多,作为普通人,我们就了解参数量和token这两个名词应对日常使用就可以了。
首先,我们来解释下参数。
想象你是个大厨,要炒一盘鱼香肉丝。你需要决定:放多少盐、多少糖、多少醋、火候多大……这些“调料比例”和“操作细节”就是参数。
大模型的参数同理:它是模型内部“做决定”时用到的“调料比例”,比如判断一句话的情感是正面还是负面时,哪些词更重要、哪些组合更关键,全靠参数来调节。
一般来说,大模型的参数量越大模型效果越好,这就好比做菜时你的调料有盐、糖、醋、辣椒、花椒……(参数少只能放盐和糖),能调出更复杂的味道。 而且参数量多的模型见过更多组合模式(比如“虽然……但是”“不仅……还”),能处理更微妙的语境。
但是参数量大也带来一些问题,比如算力要求高、容易钻牛角尖(过拟合)、难以解释(黑箱问题)。
我们作为普通人了解到这里就够了,只要记住同一系列的模型参数量越大效果越好,使用模型时,留意下参数量,别被一些平台钻了空子(比如宣称DeepSeek满血版实际上只是32b的蒸馏模型)。
其次,我们来了解下token。
简单来说,token 就是大模型处理文本时的 “小砖头” 。不管是咱们平时敲的一段话,还是一篇长长的文章,大模型都没办法直接 “啃”,得先把它们拆分成一个个的 token。
在英文里,常见的token可能就是一个单词,像 “cat”、“dog” 这种简单的单词,还有 “watermelon”、“helicopter” 这些长一点的单词,都能成为一个token。
中文就有点不一样,因为中文词和词之间没有空格分开,所以token可能是一个汉字,像 “我”、“爱”;也可能是一个词语,像 “手机”、“互联网” 。标点符号有时候也会被当作单独的token,就好比是文章里的小零件,每个都有它的作用。比如说 “今天天气真好!” 这句话,在大模型处理的时候,“今天”、“天气”、“真好” 是常见的token,感叹号 “!” 也可能会被当成一个token,它能传达出这句话的语气信息。
在实际使用大模型的过程中,理解 token 数的计算方式对于把握使用成本和模型性能十分关键。模型厂商计算 token 数时,会将用户提问和大模型回答所包含的 token 数量相加进行结算。
最后,给大家总结下市面上常见的大模型类型。
根据训练的数据类型和应用方向,我们通常会将大模型分为语言大模型(以文本数据进行训练)、音频大模型(以音频数据进行训练)、视觉大模型(以图像数据进行训练),以及多模态大模型(文本和图像都有):
领取方式在文末
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。
目前,开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景,其中,应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
随着AI大模型技术的迅速发展,相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业:
人工智能大潮已来,不加入就可能被淘汰。如果你是技术人,尤其是互联网从业者,现在就开始学习AI大模型技术,真的是给你的人生一个重要建议!
如果你真的想学习大模型,请不要去网上找那些零零碎碎的教程,真的很难学懂!你可以根据我这个学习路线和系统资料,制定一套学习计划,只要你肯花时间沉下心去学习,它们一定能帮到你!
这里我整理了一份AI大模型入门到进阶全套学习包,包含学习路线+实战案例+视频+书籍PDF+面试题+DeepSeek部署包和技巧,需要的小伙伴文在下方免费领取哦,真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发
整个学习分为7个阶段
涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,皆可用。
从入门到进阶这里都有,跟着老师学习事半功倍。
朋友们如果有需要的话,可以V扫描下方二维码联系领取~