基于最优输运思想的分组奖励策略优化算法详解

摘要

近年来，最优输运（Optimal Transport, OT）理论因其在分布对齐、概率测度比较等问题上的卓越表现受到广泛关注。本文从“世界不断演进遵循最小代价策略”这一自然哲理出发，详细阐述了一种基于最优输运思想的分组奖励策略优化算法（Grouped Reward Policy Optimization, GRPO）。我们将详细讨论算法的采样机制、奖励归一化、局部优势函数构造、Token级路径积分奖励分配以及利用KL正则化实现策略平滑更新的全流程。通过对每一步骤的严谨描述，本文既揭示了大模型在参数化复杂成本时的内在原理，也为进一步算法改进提供了理论依据和实现参考。

1. 引言

自然界中演化的过程常被认为是以最小代价或最小成本进行状态转移。同理，在机器学习与强化学习领域，特别是在语言模型和其他生成模型中，也存在着对“输运成本”最小化的内在追求。大模型经过大量人类语言的学习，在参数内部隐式地嵌入了一个复杂的成本（或奖励）函数，并在推理过程中逐层完成自由能损失的最小化，进而实现一种近似最优输运。本文提出的GRPO算法正是基于这一思想，从多采样到奖励归一化，再到策略更新，均可以视为一个局部输运过程，而通过局部最优累积，逼近全局最优解。

2. GRPO算法的理论基础