浦语大模型趣味 Demo课程学习及实战应用

 InternLM 模型全链条开源

课程笔记

  大模型指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。

   大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。通过大规模参数的学习，它们可以提高在各种任务上的泛化能力，并在未经过大量特定领域数据训练的情况下实现较好的表现。然而，大模型也面临着一些挑战，比如巨大的计算资源需求、高昂的训练成本、对大规模数据的依赖以及模型的可解释性等问题。因此，大模型的应用和发展也需要在性能、成本和道德等多个方面进行权衡和考量。

  InternLM 是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个 GPU 的大型集群上进行预训练，并在单个 GPU 上进行微调，同时实现了卓越的性能优化。在 1024 个 GPU 上训练时，InternLM 可以实现近 90% 的加速效率。

  基于 InternLM 训练框架，上海人工智能实验室已经发布了两个开源的预训练模型：InternLM-7B 和 InternLM-20B。

  Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。通过 Lagent 框架可以更好的发挥 InternLM 的全部性能。

本次课程通过三个Demo理解和学习大模型的使用。

首先是使用 InternStudio 中的 A100(1/4) 机器和 InternLM-Chat-7B 模型部署一个智能对话 Demo，该阶段主要是熟悉使用InternLM-Chat-7B 模型；

其次是使用 InternStudio 中的 A100(1/4) 机器、InternLM-Chat-7B 模型和 Lagent 框架部署一个智能工具调用 Demo，结合模型与Lagent框架，使得使用过程更加便利；

最后是使用 InternStudio 中的 A100(1/4) * 2 机器和 internlm-xcomposer-7b 模型部署一个图文理解创作 Demo ，实现模型图文识别理解。

课程文档所在网站：tutorial/helloworld/hello_world.md at main · InternLM/tutorial (github.com)

课程视频：轻松玩转书生·浦语大模型趣味Demo_哔哩哔哩_bilibili

基础作业：

InternLM-Chat-7B 模型生成回答： 

激活环境后实现运行cli_demo.py文件，可以直接在终端出使用模型，如下图所示

也可以通过以下指令

ssh -CNg -L 6006:127.0.0.1:6006 [email protected] -p 33732

映射在本地，通过网站lagent-web进行访问，指令操作如下图：

打开网站后，可以进行提问，结果如下图所示：

hugging face 下载功能

通过以下指令下载huggingface结果如下图所示：

pip install -U huggingface_hub

通过镜像网站hf-mirror.com - Huggingface 镜像站下载internlm-20b模型，下载成功如下图所示。

git clone https://hf-mirror.com/internlm/internlm-20b

进阶作业

Lagent 工具调用 Demo 创作部署

使用 InternStudio 中的 A100(1/4) 机器、InternLM-Chat-7B 模型和 Lagent 框架部署一个智能工具调用 Demo。

通过下面的指令启动demo。

streamlit run /root/code/lagent/examples/react_web_demo.py --server.address 127.0.0.1 --server.port 6006

实现结果如下图所示：

浦语·灵笔的图文理解及创作部署

使用 InternStudio 中的 A100(1/4) * 2 机器和 internlm-xcomposer-7b 模型部署一个图文理解创作 Demo ，通过下面指令启动demo。

cd /root/code/InternLM-XComposer
python examples/web_demo.py  \
    --folder /root/model/Shanghai_AI_Laboratory/internlm-xcomposer-7b \
    --num_gpus 1 \
    --port 6006

下面两张图片是图文识别和多模态对话结果展示