MOSS LORA 方式微调报错,RuntimeError: expected scalar type Half but found Float解决方案

最近用V100微调MOSS、ChatGLM等模型,过程中报错RuntimeError: expected scalar type Half but found Float

解决方案为:

在model_class.model.from_pretrained(args.model_name_or_path, load_in_8bit=True, device_map=device_map)中将load_in_8bit=True 修改为 torch_dtype=torch.float16。

主要原因是V100是volta架构,不支持load_in_8bit

你可能感兴趣的:(深度学习,pytorch,自然语言处理)