2019-02-18 大数据架构

--
中台架构
https://www.infoq.cn/article/328XzZWeIFON6JSDBR85

---

将军令：数据安全平台建设实践

---

Druid 在有赞的实践
https://www.infoq.cn/article/fXl2QXxCQ-AEx14Ee8X5

Druid 的架构是 Lambda 架构，分成实时层 ( Overlord、 MiddleManager ) 和批处理层 ( Broker 和 Historical )。主要的节点包括（PS: Druid 的所有功能都在同一个软件包中，通过不同的命令启动）：

rule1: 加载最近 30 天的 1 份 Segment 到 “hot” 分组；
rule2: 加载最近 180 天的 1 份 Segment 到 “_default_tier” 分组；
rule3: Drop 掉之前的数据（注：Rule 机制只影响 Historical 加载 Segment，Drop 掉的 Segment 在 HDFS 上任有备份）

数据摄取系统
Druid 目前并不没有支持 JOIN 查询，所有的聚合查询都被限制在单 DataSource 内进行。