Emerging Properties in Unified Multimodal Pretraining

文章主要内容总结

本文介绍了字节跳动开源的多模态基础模型BAGEL，其核心目标是通过大规模交错多模态数据预训练，实现统一的多模态理解与生成能力。BAGEL采用仅解码器架构和混合Transformer专家（MoT）设计，在文本、图像、视频和网页数据上进行训练，展现出复杂多模态推理的新兴能力，如自由形式图像操作、未来帧预测、3D操作和世界导航等。实验表明，BAGEL在标准基准测试中显著优于开源模型，并通过数据构建协议和模型架构创新，缩小了与专有系统（如GPT-4o、Gemini 2.0）的差距。

文章创新点

1. 统一多模态架构
   采用MoT架构，通过共享自注意力机制实现多模态理解与生成的长上下文交互，避免传统模型的瓶颈问题。模型包含两个Transformer专家（理解与生成），分别处理文本/视觉编码器和视觉生成VAE，支持灵活的模态交互。

2. 大规模交错多模态数据
   构建包含文本、图像、视频和网页的高质量交错数据集，尤其引入视频数据以捕捉时空连续性，并通过推理增强数据（如思维链）提升多模态推理能力。数据规模达数万亿token，涵盖多模态对话、文本-图像生成、图像操作等任务。