【AI论文】随机应变：通过强化学习实现社交代理的自适应思考

摘要：有效的社交智能模拟要求语言代理能够动态调整推理深度，而这一能力在当前的方法中显著缺失。现有的方法要么缺乏这种推理能力，要么在所有场景中都强制执行统一的长思维链推理，导致标记（token）使用过量且社交模拟不恰当。在本文中，我们提出了自适应模式学习（Adaptive Mode Learning, AML）方法，该方法根据实时上下文从四种思考模式（直观反应→深度沉思）中策略性地选择。我们框架的核心创新——自适应模式策略优化（Adaptive Mode Policy Optimization, AMPO）算法，相比现有方法引入了三个关键进步：（1）多粒度思考模式设计，（2）社交互动中的上下文感知模式切换，以及（3）通过深度自适应处理实现标记高效的推理。在社交智能任务上的广泛实验证实，AML相比最先进的方法实现了15.6%的任务性能提升。值得注意的是，我们的方法在推理链缩短32.8%的情况下，性能仍超出GRPO 7.0%。这些结果表明，如AMPO所实现的上下文敏感思考模式选择，相比GRPO的固定深度方法，能够实现更类似人类的自适应推理。Huggingface链接：Paper page，论文链接：2505.02156

研究背景和目的

研究背景

随着大型语言模型（LLMs）在静态问题解决领域（如数学、代码和逻辑推理）展现出卓越的能力，其在动态社交场景中的应用也受到了广泛关注。然而，现实生活中的社交场景远比静态问题复杂，涉及利益冲突、商业谈判、不确定性以及长期目标等。这些场景要求社交代理（social agents）不仅具备协调长期目标的能力，还需处理不确定性并适应快速变化的环境。

现有的社交智能研究主要遵循两条路径：一是端到端的目标导向训练，通过模仿学习或强化学习（RL）对LLMs进行后训练；二是外部规划集成，通过即插即用的规划器增强LLMs的战略推理能力。然而，这些方法大多侧重于快速思考模式，缺乏足够的思考过程，无法充分应对复杂社交环境中的认知要求。

在静态推理任务中，长思维链（Long-Chain-of-Thought, Long-CoT）推理已被证明能够显著提升模型性能，但这一方法尚未在社交智能任务中得到充分探索。此外，现有的LLMs在社交对话场景中往往表现出不系统的历史分析、不足的目标分解与策略规划、低效的思考过程以及不平衡的关注点等问题。

研究目的

本文旨在提出一种适应社交场景的混合思考模式学习方法，使社交代理能够根据实时上下文动态选择合适的思考模式，从而实现更高效、更人性化的自适应推理。具体而言，研究目的包括：

1. 开发自适应思考模式学习框架（AML）：通过预定义四种思考模式，并结合定制化的强化学习算法，使社交代理能够在不同社交场景中动态选择最合适的思考模式。

2. 提升社交代理的推理能力：通过Long-CoT推理方法，增强社交代理在复杂社交场景中的战略推理和决策能力，解决现有LLMs在社交对话中存在的问题。

3. 验证AML框架的有效性：在多个社交智能任务上评估AML框架的性能，证明其在提升任务表现、减少推理长度和增强适应性方面的优势。

研究方法

自适应思考模式学习框架（AML）

1. 思考模式设计：受层次认知控制理论（Hierarchical Cognitive Control Theory, HCCT）启发，设计了四种思考模式，涵盖从直觉反应到深度沉思的不同认知层次。具体包括：
   • 模式1（M1）：直觉反应：仅包含最终答案，无思考过程。
   • 模式2（M2）：意图分析：包含意图、风格和初步回答三个思考动作。
   • 模式3（M3）：战略适应：在M2基础上增加历史、目标、评估和策略四个思考动作。
   • 模式4（M4）：前瞻模拟：在M3基础上增加演绎和整合两个思考动作，模拟多种策略的执行并整合结果。
2. 自适应模式策略优化（AMPO）算法：将模式级和样本级信息纳入优势估计，通过强化学习促进自适应思考学习。具体而言，AMPO算法定义了包含模式级优势和样本级优势的目标函数，通过模式级信息选择最合适的思考模式，通过样本级信息生成更高质量的动作内容。

奖励函数设计

设计了三种奖励函数，包括答案奖励、格式奖励和答案长度奖励，以提供选择合适思考模式和答案的反馈。

1. 答案奖励：评估回答对目标完成的贡献，使用LLM评估器计算目标完成进度的梯度，并通过边界感知奖励缩放函数动态调整奖励大小。

2. 格式奖励：确保模型遵循预定义的思考模式格式，对不符合格式的行为进行惩罚。

3. 答案长度奖励：控制回答长度，避免生成过长或过短的回答，通过平滑长度惩罚函数鼓励模型生成简洁、集中的回答。

训练策略

采用两阶段训练策略：首先使用行为克隆（Behavioral Cloning, BC）使模型理解并遵循四种思考模式；然后通过强化学习训练提升自适应思考模式的能力。

研究结果

实验设置

在SOTOPIA和SOTOPIA-Hard两个社交智能任务上评估AML框架的性能。SOTOPIA专注于多样化的目标导向社交互动，而SOTOPIA-Hard则挑战代理完成复杂的战略推理任务。实验中使用了Qwen和Llama两种骨干模型，并与多个基线方法进行比较，包括强大的快速思考LLMs（如GPT-4o、Claude-3.5-Sonnet）、专门用于深度推理的LRMs（如OpenAI-o1、DeepSeek-R1）以及对话规划方法（如PPDPP、EPO、DAT、DSI）。

主要结果

1. 性能提升：AML框架在SOTOPIA和SOTOPIA-Hard任务上均取得了显著的性能提升，相比之前的最先进方法（SOTA），AML在Qwen骨干模型上实现了15.6%的任务性能提升，在Llama骨干模型上实现了7.0%的性能提升，同时推理链长度缩短了32.8%。

2. 自适应思考模式：AMPO算法显著优于GRPO算法，在保持较低平均回答长度的同时，在SOTOPIA和SOTOPIA-Hard的GOAL维度上实现了更好的性能。AMPO在训练过程中有效探索了各种思考模式，而GRPO则倾向于收敛到单一思考模式。

3. 思考模式的有效性：通过消融研究验证了四种思考模式的有效性，单独训练任何一种思考模式均无法达到AMPO的性能，表明AMPO的优势不在于拟合单一思考模式，而在于根据场景动态选择合适的思考模式。

4. 自适应行为分析：详细分析了AMPO在不同轮次和场景下的思考模式分布，发现AMPO在对话初期倾向于使用复杂的思考模式（如M4），随着对话的进行逐渐转向更简单的思考模式（如M1），这种动态转换与一般问题解决原则相符，展示了AMPO的自适应能力。

人类评估

通过严格的人类评估验证了AMPO的有效性，评估者在GOAL、REL（关系）和FIN（财务/物质利益获取）三个关键维度上对AMPO和其他基线方法进行了成对比较，结果显示AMPO在所有评估视角上均优于其他基线方法。

研究局限

1. 思考模式设计的局限性：尽管设计了四种思考模式，但仍可能无法覆盖所有可能的社交场景和认知需求。未来研究可以探索更多样化的思考模式，以更好地适应复杂多变的社交环境。

2. 奖励函数设计的挑战：奖励函数的设计对强化学习结果有显著影响，当前的奖励函数可能无法完全捕捉到所有重要的评估维度。未来研究可以探索更复杂的奖励函数设计，以更全面地评估社交代理的性能。

3. 数据集和评估环境的限制：实验在SOTOPIA和SOTOPIA-Hard两个特定数据集上进行，这些数据集可能无法完全代表真实世界的社交场景。未来研究可以扩展到更多样化的数据集和评估环境，以验证AML框架的泛化能力。

未来研究方向

1. 扩展思考模式：探索更多样化的思考模式，以更好地适应不同社交场景和认知需求。例如，可以引入情感分析、共情理解等高级认知能力到思考模式中。

2. 优化奖励函数：设计更复杂的奖励函数，以更全面地评估社交代理的性能。例如，可以引入多目标优化方法，同时考虑任务完成度、用户满意度、对话流畅性等多个评估维度。

3. 跨领域应用：将AML框架应用于其他需要复杂推理和决策的领域，如自动驾驶、机器人控制等，验证其泛化能力和实用性。

4. 可解释性和透明度：提高社交代理的可解释性和透明度，使其决策过程更加易于理解和信任。例如，可以通过可视化技术展示思考模式的动态选择过程和推理路径。

5. 结合多模态信息：探索如何结合文本、语音、图像等多模态信息，提升社交代理在复杂社交环境中的感知和理解能力。这将有助于社交代理更全面地理解用户需求和环境变化，从而做出更准确的决策。

综上所述，本文提出的自适应思考模式学习框架（AML）为社交智能领域的研究提供了新的视角和方法。通过开发四种思考模式并结合定制化的强化学习算法，AML框架显著提升了社交代理在复杂社交场景中的推理和决策能力。未来的研究可以进一步扩展思考模式、优化奖励函数、探索跨领域应用、提高可解释性和透明度以及结合多模态信息，以推动社交智能技术的持续发展。