华为昇腾NPU卡 大模型LLM ChatGLM2模型推理使用
参考：https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b
1、安装环境：
昇腾NPU卡对应英伟达GPU卡，CANN对应CUDA底层； mindspore对应pytorch；mindformers对应transformers
本次环境：
CANN-6.3.RC2.b20231016
mindspore 2.0.0
mindformers （离线安装：https://gitee.com/mindspore/mindformers）
查看npu使用信息：
npu-smi info
2、ChatGLM2模型使用
参考：https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md
问题参考：
https://gitee.com/mindspore/mindformers/issues/I897LA#note_22105999
代码：
1）pipline方式运行：
import os
import mindspore as ms
os.environ['DEVICE_ID']='0'
ms.set_context(mode=ms.GRAPH_MODE, device_target="Ascend", device_id=0) ##需要使用才能npu加速
from mindformers import pipeline, TextGenerationPipeline
task_pipeline = pipeline(task='text_generation', model='glm2_6b', max_length=2048) ##模型自动会下载到checkpoint_download文件夹下
task_pipeline('你好') ## 第一次很慢，加载编译阶段
task_pipeline('写一首关于一带一路的诗') ##第二次开始速度才有提升
由于mindspore不支持一张卡上运行多个任务，所以启动任务都是直接默认申请31G显存占用的，挺耗资源
2）接口运行
import os
import mindspore as ms
os.environ['DEVICE_ID']='0'
ms.set_context(mode=ms.GRAPH_MODE, device_target="Ascend",device_id=0)
from mindformers import AutoConfig, AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("glm2_6b")
config = AutoConfig.from_pretrained("glm2_6b")
config.use_past = True
model = AutoModel.from_config(config)
##第一轮问问题
inputs = tokenizer("你好")["input_ids"]
# print(inputs)
outputs = model.generate(inputs, max_new_tokens=20, do_sample=True, top_k=3)
response = tokenizer.decode(outputs)
print(response)
第一轮加载编译还是很慢，后续速度才提升
##第二轮问问题
inputs = tokenizer("写一首一带一路的诗")["input_ids"]
# print(inputs)
outputs = model.generate(inputs, max_new_tokens=500, do_sample=True, top_k=3)
response = tokenizer.decode(outputs)
print(response)
3）流式输出（与transformers接口基本相似；基本只支持配合上面的2）接口运行使用，pipline不大支持）
参考：https://gitee.com/mindspore/mindformers/blob/dev/mindformers/generation/streamers.py#L64
https://blog.csdn.net/weixin_44491772/article/details/131205174
第一种（主要用）：TextIteratorStreamer
##加载模型
import os
import mindspore as ms
os.environ['DEVICE_ID']='0'
ms.set_context(mode=ms.GRAPH_MODE, device_target="Ascend",device_id=0)
from mindformers import AutoConfig, AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("glm2_6b")
config = AutoConfig.from_pretrained("glm2_6b")
config.use_past = True
model = AutoModel.from_config(config)
##第一轮问问题
inputs = tokenizer("你好")["input_ids"]
# print(inputs)
outputs = model.generate(inputs, max_new_tokens=20, do_sample=True, top_k=3)
response = tokenizer.decode(outputs)
print(response)
###流式代码
from mindformers import TextIteratorStreamer
from threading import Thread
streamer = TextIteratorStreamer(tokenizer)
prompt = "写一首一带一路的诗"
inputs = tokenizer([prompt])
generation_kwargs = dict(input_ids=inputs["input_ids"], streamer=streamer, max_length=500, top_k=1)
thread = Thread(target=model.generate, kwargs=generation_kwargs)
thread.start()
generated_text = ""
for num,new_text in enumerate(streamer):
# print(num,new_text)
if num>1:
print(new_text, end='',flush=True)
#print(new_text, end='',flush=True)
generated_text += new_text
generated_text
第二种：TextStreamer
from mindformers import TextStreamer
inputs = tokenizer(["写一首一带一路的诗"])
streamer = TextStreamer(tokenizer)
_ = model.generate(inputs["input_ids"], streamer=streamer, max_length=500, top_k=1)
4）history构建
参考：https://aistudio.baidu.com/projectdetail/6519985
https://zhuanlan.zhihu.com/p/650730807
def prepare_query_for_chat(query: str, history = None):
if history is None:
return query
else:
prompt = ""
for i, (old_query, response) in enumerate(history):
prompt += "[Round {}]\n问：{}\n答：{}\n".format(i, old_query, response)
prompt += "[Round {}]\n问：{}\n答：".format(len(history), query)
return prompt
prompt = prepare_query_for_chat(
query="你是谁？", history=[("你叫小乐主要擅长是智慧城市和智慧安全方向，核心技术包括专用高性能计算，解密设备，无人机智能反制系统，云计算平台，AI行为分析等，愿景是让城市更智慧，让世界更安全;每次回答请都简要回答不超过30个字","好的，小乐很乐意为你服务")]
)
print(prompt)
完整代码：
from mindformers import TextIteratorStreamer
from threading import Thread
streamer = TextIteratorStreamer(tokenizer)
prompt = prepare_query_for_chat(
query="你能做什么？", history=[("你主要擅长是智慧城市和智慧安全方向，核心技术包括专用高性能计算，解密设备，无人机智能反制系统，云计算平台，AI行为分析等，愿景是让城市更智慧，让世界更安全;每次回答请都简要回答不超过30个字","好的，小**很乐意为你服务")]
)
inputs = tokenizer([prompt])
generation_kwargs = dict(input_ids=inputs["input_ids"], streamer=streamer, max_length=5000, top_k=1)
thread = Thread(target=model.generate, kwargs=generation_kwargs)
thread.start()
generated_text = ""
for num,new_text in enumerate(streamer):
# print(num,new_text)
if num>=1:
print(new_text, end='',flush=True)
generated_text += new_text
generated_text
