DeepSeek-llm-7B-Chat微调教程

DeepSeek-llm-7B-Chat微调教程

作者：Tina@知乎（作者已授权转载）

来源：https://zhuanlan.zhihu.com/p/9812641926

前言

DeepSeek系列大模型由杭州深度求索人工智能基础技术研究有限公司提供，该系列大模型有以下这些优势：

1. 高性价比：DeepSeek-V2模型以其史无前例的性价比著称，推理成本被降到每百万token仅1块钱，约等于Llama3 70B的七分之一，GPT-4 Turbo的七十分之一。
2. 架构创新：DeepSeek对模型架构进行了全方位创新，提出崭新的MLA（一种新的多头潜在注意力机制）架构，把显存占用降到了过去最常用的MHA架构的5%-13