Video-R1: Reinforcing Video Reasoning in MLLMs

Video-R1: Reinforcing Video Reasoning in MLLMs_第1张图片

文章主要内容总结

研究背景与目标

本文针对多模态大语言模型(MLLMs)在视频推理任务中的不足,提出了Video-R1模型,旨在通过强化学习(RL)范式系统性提升模型的视频推理能力。现有方法在视频推理中面临两个核心挑战:缺乏时间建模能力和高质量视频推理数据稀缺。

方法创新点
  1. T-GRPO算法
    提出时间增强的群体相对策略优化算法(T-GRPO),通过对比有序和随机打乱的视频帧序列推理结果,显式鼓励模型利用时间信息进行推理,避免依赖单帧捷径。

  2. 混合数据集构建
    构建了两个数据集:

    • Video-R1-COT-165k:用于监督微调(SFT)的冷启动,包含图像和视频的链式思维(CoT)注释。
    • Video-R1-260k:用于RL训练,结合图像和视频数据ÿ

你可能感兴趣的:(LLM,Daily,Multimodal,Causal,and,Reasoning,人工智能,视觉模型)