多模态大模型发展全景：从架构创新到应用突破

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

《GPT多模态大模型与AI Agent智能体》新出书籍配套视频【陈敬雷】

推荐算法系统实战全系列精品课【陈敬雷】

GPT多模态大模型系列四

多模态大模型发展全景：从架构创新到应用突破

一、多模态大模型发展现状
在人工智能领域，多模态大模型近年来成为焦点，诸多科技企业与研究机构纷纷投身其中，取得了一系列令人瞩目的成果。智谱 AI 与清华大学 KEG 实验室联合推出 GLM-4.1V-Thinking，通过 “推理为中心” 的训练框架，将多模态模型能力从基础视觉感知推进到复杂逻辑推理层面。其 90 亿参数规模虽不算庞大，却在多达 28 个公开基准测试中，全面超越同量级开源模型，在 18 个基准上性能持平甚至超过 720 亿参数的 Qwen2.5-VL-72B，部分高难度任务表现优于 GPT-4o 。这一模型构建了 “大规模预训练→指令精调对齐→强化学习激发” 的完整流程，并引入可扩展强化学习与课程采样（RLCS）机制，根据模型能力动态调整训练样本难度，提升训练效率与性能上限 。
快手也推出了 80 亿参数的多模态基础模型 Kwai Keye-VL，专为短视频理解设计，同时具备强大通用视觉语言能力。该模型基于 Qwen3-8B 语言模型，引入 SigLIP 作为视觉编码器初始化。在训练方面，依靠规模庞大且高质量、超 6000 亿词元并聚焦视频的数据集，以及创新训练方案。实验结果显示，Keye-VL 在公开视频基准测试中成绩领先，在通用图像任务中也颇具竞争力。此外，快手还开发并发布了专为现实世界短视频场景定制的 KC-MMBench 基准，Keye-VL 在其中平均准确率达 68.03%，大幅领先第二名 。
阿里云的 Qwen2.5-VL 则是 Qwen 视觉 - 语言系列的最新旗舰模型，在基础能力和创新功能上实现显著进步。它能通过增强的视觉识别、精确物体定位、强大文档解析和长视频理解等功能，实现重大突破。Qwen2.5-VL 可使用边界框或点准确定位物体，从发票、表单等提取稳健结构化数据，分析图表、图示和布局。为处理复杂输入，引入动态分辨率处理和绝对时间编码，能处理不同大小图像和长达数小时视频，实现秒级事件定位。该模型提供三种不同大小版本，以满足从边缘 AI 到高性能计算的多样应用场景 。
二、多模态大模型技术解析
（一）架构创新
多模态大模型架构通常包含视觉编码器、跨模态投影器和大型语言模型等组件。GLM-4.1V-Thinking 选用 AIMv2-Huge 作为视觉编码器，将原始二维卷积替换为三维卷积，实现视频输入时间维度下采样，提升处理效率。同时，融合二维旋转位置编码（2D-RoPE），使其能稳定处理极端宽高比和超高分辨率图像，并保留可学习绝对位置嵌入，通过双三次插值动态适配不同分辨率输入 。
Qwen2.5-VL 的视觉编码器采用重新设计的视觉变换器（ViT）架构，引入 2D-RoPE 和窗口注意力机制，支持原始输入分辨率，加速计算。在训练和推理时，调整输入图像尺寸为 28 的倍数后输入 ViT，通过特定步长分割图像生成特征，再经多层感知机（MLP）投影到与语言模型文本嵌入一致维度，降低计算成本，灵活压缩图像特征序列 。
（二）训练优化
训练过程一般分为预训练、监督微调（SFT）和强化学习（RL）等阶段。GLM-4.1V-Thinking 预训练分多模态预训练与长上下文持续训练两个子阶段。初始阶段构建通用多模态理解能力，训练数据涵盖多种模态；后续引入复杂训练数据，扩展序列长度至 32,768，采用混合并行策略继续训练。微调阶段构建高质量思维链（CoT）训练集，强化长篇因果推理能力 。
Kwai Keye-VL 预训练阶段聚焦构建图文和视频理解能力，即视觉 - 语言对齐。通过自建高质量中文 OCR 系统和精细化描述数据，突破开源数据局限。后训练阶段精心设计，全面提升模型性能，尤其是复杂任务推理能力 。
Qwen2.5-VL 在数据质量与规模上发力，将预训练语料库规模从 1.2 万亿词元扩展到 4.1 万亿词元。同时在技术上实现窗口注意力机制优化推理效率，引入动态 FPS 采样将动态分辨率扩展到时间维度，升级时间域的 MRoPE 促进复杂时间序列学习 。
三、多模态大模型应用突破
（一）视频理解
GLM-4.1V-Thinking 能够解析最长两小时的视频内容，对视频中的时间、人物、事件和逻辑关系进行准确分析推理，可应用于安防监控、赛事分析等场景。比如在安防监控中，能快速识别异常行为并分析事件发展逻辑 。
Kwai Keye-VL 专为短视频理解打造，在多个公共视频基准测试中优势显著，在 Video-MMMU 和 TempCompass 等任务上性能远超其他模型，可用于短视频内容审核、智能推荐等 。
Qwen2.5-VL 将动态分辨率扩展到时间维度，增强对长达数小时视频的理解能力，能在秒级提取事件片段，适用于视频内容分析、视频检索等领域 。
（二）图像问答与复杂图片解析
GLM-4.1V-Thinking 对图像内容深入分析解答，逻辑能力和世界知识丰富，且对包含数学公式、代码截图等信息的复杂图片理解能力强，在教育、科研领域应用前景广阔，如帮助学生解答数学题目、辅助科研人员分析实验图像数据 。
Kwai Keye-VL 在通用图像理解任务表现出色，在 MMMU、AI2D 等基准测试达顶尖水平，可用于图像识别、图像编辑等 。
Qwen2.5-VL 提高检测、指向和计数对象精度，支持绝对坐标和 JSON 格式，用于高级空间推理，还能进行跨格式精确对象定位 。
（三）学科解题与代码生成
GLM-4.1V-Thinking 支持数学、物理、生物、化学等学科看图解题，通过推理给出详细思考过程，同时能基于输入图片文字内容自动编写前端代码，看图写网页 。
（四）文字识别与 GUI 智能体
GLM-4.1V-Thinking 能对图片和视频中的文字和图表内容准确抽取和结构化输出，还能识别网页、电脑屏幕、手机屏幕等交互界面元素，支持点击、滑动等指令执行能力，可应用于自动化测试、智能助手等场景 。
Qwen2.5-VL 将文本识别升级为全文档解析，擅长处理多场景、多语言和各种内置（手写、表格、图表、化学公式和乐谱）文档 。
四、多模态大模型发展趋势
（一）性能提升
未来模型将不断提升在复杂任务上的推理能力和准确性，如在科学研究、医疗诊断等对精度要求极高的领域，进一步优化模型架构和训练算法，提高模型泛化能力和稳定性 。
（二）多模态融合深化
从目前主要的视觉与语言融合，向更多模态拓展，如融合触觉、嗅觉等信息，实现更全面、更接近人类感知的多模态交互，拓宽应用边界 。
（三）轻量化与高效部署
研发更高效的模型压缩和加速技术，使多模态大模型能够在资源受限的设备上运行，如边缘计算设备、移动终端等，推动多模态应用在物联网、智能家居等领域普及 。
（四）与行业深度结合
针对不同行业需求，开发定制化多模态大模型解决方案，如医疗影像分析、工业质检、金融风险评估等，提升行业智能化水平 。

更多技术内容

更多技术内容可参见
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】书籍。
更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

GPT多模态大模型与AI Agent智能体书籍本章配套视频 - 第1章 大模型技术原理【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏
揭秘 DeepSeek、Sora、GPT-4 等多模态大模型的技术底层逻辑，详解 Transformer 架构如何突破传统神经网络局限，实现长距离依赖捕捉与跨模态信息融合。
对比编码预训练（BERT）、解码预训练（GPT 系列）及编解码架构（BART、T5）的技术差异，掌握大模型从 “理解” 到 “生成” 的核心逻辑。
实战驱动，掌握大模型开发全流程
提示学习与指令微调：通过 Zero-shot、Few-shot 等案例，演示如何用提示词激活大模型潜能，结合 LoRA 轻量化微调技术，实现广告生成、文本摘要等场景落地（附 ChatGLM3-6B 微调实战代码）。
人类反馈强化学习（RLHF）：拆解 PPO 算法原理，通过智谱 AI 等案例，掌握如何用人类偏好优化模型输出，提升对话系统的安全性与实用性。
智能涌现与 AGI 前瞻，抢占技术高地
解析大模型 “智能涌现” 现象（如上下文学习、思维链推理），理解为何参数规模突破阈值后，模型能实现从 “量变” 到 “质变” 的能力跃升。
前瞻通用人工智能（AGI）发展趋势，探讨多模态模型（如 Sora）如何推动 AI 从 “单一任务” 向 “类人智能” 进化，提前布局未来技术赛道。

推荐算法系统实战全系列精品课【陈敬雷】
视频特色： 首先推荐系统不等于推荐算法，更不等于协同过滤。推荐系统是一个完整的系统工程，从工程上来讲是由多个子系统有机的组合，比如基于Hadoop数据仓库的推荐集市、ETL数据处理子系统、离线算法、准实时算法、多策略融合算法、缓存处理、搜索引擎部分、二次重排序算法、在线web引擎服务、AB测试效果评估、推荐位管理平台等，每个子系统都扮演着非常重要的角色，当然大家肯定会说算法部分是核心，这个说的没错，的确。推荐系统是偏算法的策略系统，但要达到一个非常好的推荐效果，只有算法是不够的。比如做算法依赖于训练数据，数据质量不好，或者数据处理没做好，再好的算法也发挥不出价值。算法上线了，如果不知道效果怎么样，后面的优化工作就无法进行。所以AB测试是评价推荐效果的关键，它指导着系统该何去何从。为了能够快速切换和优化策略，推荐位管理平台起着举足轻重的作用。推荐效果最终要应用到线上平台去，在App或网站上毫秒级别的快速展示推荐结果，这就需要推荐的在线Web引擎服务来保证高性能的并发访问。这么来说，虽然算法是核心，但离不开每个子系统的配合，另外就是不同算法可以嵌入到各个子系统中，算法可以贯穿到每个子系统。
从开发人员角色上来讲，推荐系统不仅仅只有算法工程师角色的人就能完成整个系统，需要各个角色的工程师相配合才行。比如大数据平台工程师负责Hadoop集群和数据仓库，ETL工程师负责对数据仓库的数据进行处理和清洗，算法工程师负责核心算法，Web开发工程师负责推荐Web接口对接各个部门，比如网站前端、APP客户端的接口调用等，后台开发工程师负责推荐位管理、报表开发、推荐效果分析等，架构师负责整体系统的架构设计等。所以推荐系统是一个多角色协同配合才能完成的系统。
下面我们就从推荐系统的整体架构以及各个子系统的实现给大家深度解密来自一线大型互联网公司重量级的实战产品项目！！！

自然语言处理NLP原理与实战 视频教程【陈敬雷】
视频特色：《自然语言处理NLP原理与实战》包含了互联网公司前沿的热门算法的核心原理，以及源码级别的应用操作实战，直接讲解自然语言处理的核心精髓部分，自然语言处理从业者或者转行自然语言处理者必听视频！

人工智能《分布式机器学习实战》 视频教程【陈敬雷】
视频特色：视频核心内容有互联网公司大数据和人工智能、大数据算法系统架构、大数据基础、Python编程、Java编程、Scala编程、Docker容器、Mahout分布式机器学习平台、Spark分布式机器学习平台、分布式深度学习框架和神经网络算法、自然语言处理算法、工业级完整系统实战（推荐算法系统实战、人脸识别实战、对话机器人实战）。

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄