【大模型推理加速】PD分离资料

大模型推理-基于prefill和decode阶段特性，PD分离，势在必行！
https://mp.weixin.qq.com/s?__biz=MzkxMDIwOTU5OQ==&mid=2247484014&idx=2&sn=f5be8f6daf06a6746be2a79fda8da799&chksm=c0ce59b9f2b41cc344ef6f6c0e175d3998aca5a3992f08a13f0229609f78efb3b7d1c956299f#rd

（二）负载均衡与任务调度算法
深入剖析大模型推理PD分离技术

1. 负载均衡：在PD分离架构中，存在多个Prefill工作节点和Decode工作节点，需要实现负载均衡，确保每个节点的负载相对均匀，避免出现某些节点负载过高而某些节点空闲的情况。可以采用基于流量监测和预测的负载均衡算法，实时监测各个节点的负载情况，根据预测的请求流量动态地分配任务。如果预测到某个时间段内某个区域的请求量会增加，可以提前将任务分配到负载较低的节点上。

2. 任务调度：任务调度算法需要根据Prefill和Decode阶段的特点，合理地安排任务的执行顺序和资源分配。对于Prefill阶段，可以采用优先调度长请求的策略，因为长请求的计算量更大，先处理长请求可以充分利用GPU的计算资源；对于Decode阶段，可以根据请求的优先级和生成token的紧迫性进行调度，优先处理高优先级和需要快速生成token的请求。还可以结合连续批量处理等技术，将多个请求组合成批次进行处理，提高处理效率。

大模型推理框架RTP-LLM P-D分离之道：从思考到实战