算法工程师必看！个性化信息流推荐算法系统的架构设计与优化实战指南

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

GPT多模态大模型与AI Agent智能体书籍本章配套视频课程【陈敬雷】

推荐算法系统实战全系列精品课【陈敬雷】

推荐算法系统系列二

算法工程师必看！个性化信息流推荐算法系统的架构设计与优化实战指南

8.1推荐算法系统实战
首先推荐系统不等于推荐算法，更不等于协同过滤。推荐系统是一个完整的系统工程，从工程上来讲是由多个子系统有机的组合，比如基于Hadoop数据仓库的推荐集市、ETL数据处理子系统、离线算法、准实时算法、多策略融合算法、缓存处理、搜索引擎部分、二次重排序算法、在线web引擎服务、AB测试效果评估、推荐位管理平台等，每个子系统都扮演着非常重要的角色，当然大家肯定会说算法部分是核心，这个说的没错，的确。推荐系统是偏算法的策略系统，但要达到一个非常好的推荐效果，只有算法是不够的。比如做算法依赖于训练数据，数据质量不好，或者数据处理没做好，再好的算法也发挥不出价值。算法上线了，如果不知道效果怎么样，后面的优化工作就无法进行。所以AB测试是评价推荐效果的关键，它指导着系统该何去何从。为了能够快速切换和优化策略，推荐位管理平台起着举足轻重的作用。推荐效果最终要应用到线上平台去，在App或网站上毫秒级别的快速展示推荐结果，这就需要推荐的在线Web引擎服务来保证高性能的并发访问。这么来说，虽然算法是核心，但离不开每个子系统的配合，另外就是不同算法可以嵌入到各个子系统中，算法可以贯穿到每个子系统。
从开发人员角色上来讲，推荐系统不仅仅只有算法工程师角色的人就能完成整个系统，需要各个角色的工程师相配合才行。比如大数据平台工程师负责Hadoop集群和数据仓库，ETL工程师负责对数据仓库的数据进行处理和清洗，算法工程师负责核心算法，Web开发工程师负责推荐Web接口对接各个部门，比如网站前端、APP客户端的接口调用等，后台开发工程师负责推荐位管理、报表开发、推荐效果分析等，架构师负责整体系统的架构设计等。所以推荐系统是一个多角色协同配合才能完成的系统。
下面我们就从推荐系统的整体架构以及各个子系统分别详细讲一下。
8.1.1推荐系统架构设计
让我们先看一下推荐的架构图，然后再根据架构图详细描述下各个模块的关系以及工作流程。
（1）推荐系统架构图 如下：

（1）推荐系统架构图
图 8.1
这个架构图包含了各个子系统或模块的协调配合、相互调用关系，从部门的组织架构上来看，推荐系统主要是有大数据部门负责，或者是和大数据部门平行的搜索推荐部门来负责完成，其他前端部门、移动开发部门配合调用展示推荐结果来是实现整个平台的衔接关系。同时这个架构流程图详细描绘了每个子系统具体是怎么衔接的，都做了那些事。下面我们从架构图从上到下的来详细的讲一下整个架构流程的细节。
（2）架构图详解
推荐数据仓库搭建、数据抽取