【AI论文】Skywork-Reward-V2：通过人机协同实现偏好数据整理的规模化扩展

摘要：尽管奖励模型（Reward Models，RMs）在基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）中发挥着关键作用，但当前最先进的开源奖励模型在大多数现有评估基准上表现欠佳，无法捕捉人类复杂且微妙的偏好谱系。即便采用先进训练技术的方法也未能显著提升性能。我们推测，这种脆弱性主要源于偏好数据集的局限性——这些数据集往往范围狭窄、标注方式为人工合成，或缺乏严格的质量控制。为应对这些挑战，我们推出了一个包含4000万对偏好数据的大规模偏好数据集，命名为SynPref-40M。为实现大规模数据整理，我们设计了一种人机协同的两阶段流程，该流程充分发挥了人类标注质量与人工智能可扩展性的互补优势。在这一流程中，人类提供经过验证的标注，而大型语言模型则根据人类指导进行自动化数据整理。基于这一偏好数据混合集，我们推出了Skywork-Reward-V2——一套包含8个奖励模型的套件，参数规模从6亿到80亿不等，这些模型均在SynPref-40M中精心整理的2600万对偏好数据的子集上进行了训练。我们证明，Skywork-Reward-V2在广泛的能力上均表现出色，包括与人类偏好的对齐度、客观正确性、安全性、对风格偏差的抵抗能力以及N选1最佳扩展能力，在七个主要奖励模型基准测试中均取得了最优性能。消融研究证实，我们方法的有效性不仅源于数据规模，还得益于高质量的数据整理。Skywork-Reward-V2系列代表了开源奖励模型的重大进展，凸显了现有偏好数据集的未开发潜力，并展示了人机协同整理如何能显著提升数据质量。Huggingface链接：Paper page，论文链接：2507.01352

研究背景和目的

研究背景

随着人工智能（AI）技术的快速发展，特别是在自然语言处理（NLP）和强化学习（RL）领域，奖励模型（Reward Models, RMs）已成为训练AI系统以符合人类偏好和价值观的关键组件。奖励模型通过评估AI生成内容的质量或行为的优劣，为强化学习提供必要的反馈信号，从而指导AI系统朝着更符合人类期望的方向优化。然而，尽管奖励模型在理论和应用上都具有重要意义，当前开源的奖励模型在实际应用中仍面临诸多挑战。

首先，现有开源奖励模型在大多数评估基准上的表现并不理想。这些模型往往难以捕捉人类偏好的多样性和复杂性，尤其是在处理微妙和复杂的偏好时，模型性能显著下降。这主要是因为现有的偏好数据集存在局限性，如数据范围狭窄、标注方式单一或缺乏严格的质量控制，导致模型无法充分学习到人类偏好的全面特征。

其次，尽管一些研究尝试通过引入先进的训练技术来改进奖励模型的性能，但这些方法并未带来显著的性能提升。这表明，单纯依赖训练技术的改进并不足以解决奖励模型面临的核心问题，即数据质量和多样性的不足。

研究目的

针对上述挑战，本研究旨在通过构建大规模、高质量的偏好数据集，并设计高效的数据整理流程，来推动开源奖励模型的发展。具体而言，本研究的主要目的包括：

1. 构建大规模偏好数据集：创建一个包含4000万对偏好数据的大规模数据集（SynPref-40M），以提供更丰富、更多样化的偏好信息，从而支持更复杂的偏好学习任务。

2. 设计人机协同的数据整理流程：开发一种人机协同的两阶段数据整理流程，结合人类标注的高质量和AI模型的可扩展性，实现偏好数据的高效、准确整理。

3. 训练高性能奖励模型：基于整理后的偏好数据集，训练一系列高性能的奖励模型（Skywork-Reward-V2），这些模型在参数规模和性能上均达到或超过当前最先进的水平。

4. 评估模型性能：在多个主要的奖励模型评估基准上，全面评估Skywork-Reward-V2系列模型的性能，验证其在捕捉人类偏好、保证客观正确性、提高安全性以及抵抗风格偏差等方面的能力。

研究方法

数据集构建

为了构建大规模偏好数据集SynPref-40M，本研究采用了多种数据收集策略，包括从现有数据集中筛选、通过众包平台收集新数据以及利用AI模型生成合成数据。在数据收集过程中，特别注重数据的多样性和覆盖范围，以确保数据集能够反映人类偏好的广泛特征。

人机协同数据整理流程

为了实现偏好数据的高效、准确整理，本研究设计了一种人机协同的两阶段流程：

1. 第一阶段：小规模人工验证：在这一阶段，人类标注者对初始收集的偏好数据进行严格验证和标注，确保数据的准确性和可靠性。同时，利用AI模型生成偏好属性，辅助人类标注者进行更细致的标注。

2. 第二阶段：大规模自动化整理：基于第一阶段验证和标注的数据，训练一个奖励模型作为“数据裁判”，用于指导AI模型进行大规模自动化数据整理。在这一阶段，AI模型根据人类标注的偏好属性和奖励模型的反馈，对剩余数据进行自动整理和标注。

奖励模型训练

基于整理后的偏好数据集SynPref-40M，本研究训练了一系列高性能的奖励模型Skywork-Reward-V2。这些模型采用不同的参数规模（从6亿到80亿不等），以探索模型复杂度与性能之间的关系。在训练过程中，采用多种先进的训练技术和优化策略，如自适应学习率调整、正则化方法等，以提高模型的泛化能力和稳定性。

研究结果

数据集规模和质量

SynPref-40M数据集包含4000万对偏好数据，是当前最大的开源偏好数据集之一。通过严格的质量控制和多样化数据收集策略，该数据集在范围、多样性和准确性方面均达到较高水平。

奖励模型性能

在多个主要的奖励模型评估基准上，Skywork-Reward-V2系列模型均取得了显著优于现有开源奖励模型的性能。具体而言：

• 人类偏好对齐度：Skywork-Reward-V2模型在捕捉人类偏好方面表现出色，能够更准确地预测人类对AI生成内容的评价。

• 客观正确性：在涉及数学、编程等客观任务的评估中，Skywork-Reward-V2模型展现出较高的正确性，能够更准确地判断AI生成内容的正确性。

• 安全性：在评估AI生成内容的安全性方面，Skywork-Reward-V2模型能够有效识别并避免生成不安全或有害的内容。

• 抵抗风格偏差：Skywork-Reward-V2模型对风格偏差具有较强的抵抗力，能够在不同风格之间保持一致的评估标准。

• N选1最佳扩展能力：在N选1评估任务中，Skywork-Reward-V2模型展现出优秀的扩展能力，能够随着选项数量的增加而保持稳定的性能。

研究局限

尽管本研究在构建大规模偏好数据集和训练高性能奖励模型方面取得了显著进展，但仍存在一些局限性：

1. 数据偏差：尽管SynPref-40M数据集在范围和多样性方面有所提升，但仍可能存在某些类型的偏好数据覆盖不足的问题。这可能导致奖励模型在处理某些特定类型的偏好时性能下降。

2. 人类偏好多样性：人类偏好具有高度的多样性和复杂性，不同个体之间的偏好可能存在显著差异。当前的奖励模型仍难以完全捕捉这种多样性，尤其是在处理主观性较强的偏好时。

3. 模型可解释性：尽管Skywork-Reward-V2模型在性能上取得了显著提升，但其决策过程仍缺乏足够的可解释性。这限制了模型在需要高度透明度和可解释性的应用场景中的使用。

未来研究方向

针对上述研究局限，未来的研究可以从以下几个方面展开：

1. 进一步扩展数据集：继续扩大偏好数据集的规模和覆盖范围，特别是增加对某些特定类型偏好的覆盖。同时，探索更有效的数据收集策略，以提高数据的质量和多样性。

2. 改进模型架构和训练方法：研究更先进的模型架构和训练方法，以提高奖励模型在捕捉人类偏好多样性和复杂性方面的能力。例如，可以探索引入注意力机制、图神经网络等先进技术来增强模型的表达能力。

3. 提高模型可解释性：研究提高奖励模型可解释性的方法，使模型的决策过程更加透明和可理解。这有助于增强模型在需要高度透明度和可解释性的应用场景中的可信度。

4. 探索个性化奖励模型：针对不同用户或应用场景的个性化需求，研究开发个性化奖励模型。这些模型能够根据用户的特定偏好和行为模式进行定制化优化，从而提高AI系统的用户满意度和实用性。

5. 跨领域应用研究：将奖励模型应用于更多领域和场景，如机器人控制、自动驾驶等。通过跨领域应用研究，探索奖励模型在不同场景下的适用性和有效性，进一步推动AI技术的发展和应用。