Hugging Face LLM部署大语言模型到亚马逊云科技Amazon SageMaker推理示例
本篇文章主要介绍如何使用新的HuggingFaceLLM推理容器将开源LLMs,比如BLOOM大型语言模型部署到亚马逊云科技AmazonSageMaker进行推理的示例。我们将部署12BOpenAssistantModel,这是一款由开放助手计划训练的开源ChatLLM。这个示例包括:设置开发环境获取全新HuggingFaceLLMDLC将开放助手12B部署到亚马逊云科技AmazonSageMak