玩转大模型（二）启动一个大模型

写这篇文章是几个月前了，现在模型和框架已经更新了好几轮了，但不影响吧，后面会把这几个月的发展专门用一篇文章补上。

在上一篇中，硬件全都准备好了，软件也已经安装完成，相应的配置都已经做完，终于要开始使用大模型了，后面这些天，我们会从最最基础的开始，一步一步来玩转大模型，目前各种各样的傻瓜教程都已经很多了，不管是本地模型部署还是API形式调用openAI，都有很多教程，从大模型的部署，使用，langchain使用，微调模型等等方方面面，都有很多教程，也有以一个例子，比如如何做一个自己的私人知识库这种来讲解大模型的。

既然已经有了硬件和软件，那么我们也来整一个开胃菜吧，首先，不管怎么样，先得跑起来一个大模型吧，然后和他对对话之类的，也算对大模型的使用有个初步的了解吧，OK，啥也不说了，开始干。

选择模型

在模型的选择上，我们没有选llama这种最流行的，一是它比较大，难以下载，二是不是一般人的电脑都能跑起来的，三是原生的llama不支持中文，还需要找已经完成中文微调的模型。所以，为了简便，我们选择清华大学的ChatGLM2-6B这个模型，顾名思义，他有60亿个参数，用来玩已经足够了。

首先，找到模型所在的位置：

• huggingface : huggingface.co/THUDM/chatg…

直接git clone 下来就好，没有必要安装git lfs，因为huggingface的速度实在是太慢了，使用git把这个十几GB的模型拖下来太慢了，有两种方式，一是找到模型地址使用迅雷下载，再覆盖掉。 另外，也可以到这里