数仓分层结构
--图片来源尚硅谷
ODS层：
数据存储格式：JSON/TSV+ gzip压缩（默认）
Operate Data Store
-- 存储从mysql业务数据库和日志服务器的日志文件中采集到的数据
-- 日志数据
-- 格式:JSON
--业务数据
--历史数据
-- 格式:
-- 全量
-- Datax : TSV
-- 增量
-- Maxwell : JSON
-- 汇总数据
-- 希望用最少的资源存储最多的数据
-- 压缩：
-- gzip：Hadoop默认支持的，压缩率极高，压缩效率不高
-- Izo：Hadoop默认不支持的，压缩效率高，压缩率高
--snappy ：Hadoop默认不支持的，压缩效率极高，压缩率不高
DIM层：（维度层）
数据存储格式：orc列式存储+snappy压缩
Dimension :维度
--所谓的维度其实就是分析数据的角度
--维度层保存的表其实就是分析数据的角度表
-- 性别
-- 年龄
-- 品牌
-- 品类
--维度层保存维度表，所以建模理论应该遵循维度建模理论
-- 维度层中的维度表，主要用于统计分析
--数据存储方式应该为列式存储: orc
--数据压缩效率越高越好(时间短) : snappy
--数据源
-- ODS层的数据为整个数据仓库做准备
-- DIM层数据源就是ODS层
--命名规范
-- 分层标记 (dim_)_维度名称_全量/拉链(标记)
-- 全量: 维度表的全部数据
-- 状态数据为了避免数据出现问题，最好的方式，就是每一天都保存数据
--建模理论
--ER模型
-- ODS
--维度模型
-- 维度(状态)表
--事实(行为) 表
DWD层：（明细层）
数据存储格式：orc列式存储+snappy压缩
Data Warehouse Detail
-- detail : 详细，明细
- 对ODS层的数据进行加工，为后续的统计分析做准备
- DIM层主要功能其实是分析数据:面向状态
- DWD层主要功能其实是统计数据: 面向行为
- DWD层的表中主要保存的就是业务行为数据,表的设计需要遵循建模理论 - 维度建模 - 事实(行为)
- 数据存储格式:列式存储
- 数据压缩格式: snappy
命名规范
--分层标记 (dwd_)+ 数据域(分类) + 行为 + 全量/增量
--原则上来讲，所有的行为都应该是增量数据
--特殊情况下，会采用全量方式实现行为统计。
DWS层：（汇总层）
数据存储格式：orc列式存储+snappy压缩
Data Warehouse Summary
-- Data Warehouse : 数仓库
-- Summary : 汇总 (预聚合)
--用于将DIM，DWD的数据进行提前统计，将统计结果保存到当前的表中。
-- 所以当前的表不是最终的统计结果表
--数据量就可能有点多。表的设计中应该添加分区
--当前表需要进一步的聚合处理，所以表的设计中应该是列式存储，且采用snappy压缩
--表的分类:根据数据范围进行分类
--1d:1天的数据的统计
数据来源为DIM，DWD
-- nd :N天的数据的统计
数据来源必须为1d表
--td : 所有数据的统计
数据来源可以为1d表
数据来源也可以为DIM，DWD
--表名
--分层标记 (dws_)+ 数域 + 统计度 + 业务过程 + 统计周期 (1d/nd/td)
-- 指标: 客户想要的一个统计结果 (数值)
--业务过程相同:数据来源相同
--统计周期相同:数据范围相同
--统计粒度相同:数据含义相同
ADS层：
-- Application Data Service
-- Application : (数据仓库)应用
-- Data : 用户需求的统计结果数据
-- Service :对外服务
1. ADS层保存的数据是最终的统计结果，无需做进一步的计算
-- 不需要列式存储，也不需要snappy压缩
2. 统计结果的目的是对外提供服务，所以表不会最终数据的存储位置
-- 需要将表中的数据同步到第三方存储(MYSQL)
-- ADS层的表最好是行式存储: tsv (DataX)
--压缩格式采用gzip
3. 统计结果的数据量不会很多
-- ADS层的表无需分区设计
4. 表的设计
-- ODS层:表的结构依托于数据源的数据结构(ER模型)
-- DIM层:遵循维度模型的维度表的设计理念(维度越丰富越好)
-- DWD层:遵循维度模型的事实表的设计理念(粒度越细越好)
-- ADS层:客户要啥你加啥，不要额外添加
基础概念
维度: 分析数据的角度
粒度: 描述数据的详细程度
统计周期 : 统计的时候，数据统计时间范围
统计粒度 : 分析数据的具体角度，称之为统计粒度(站在哪一个角度统计数据)
指标: 客户想要的一个结果数值
指标体系：
-- 原子指标(拆分指标)
-- 行为，统计字段，统计逻辑
--派生指标(增加条件)
-- 统计周期(范围) + 业务限定(筛选条件) + 统计粒度(分组维度)
--衍生指标(比率，比例)