电商数仓用户行为数据采集-需求分析和架构设计

电商数仓-用户行为数据采集

数据仓库的概念

数据仓库（ Data Warehouse ），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。

通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等。

数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：清洗，转义，分类，重组，合并，拆分，统计等等。

项目的需求分析和架构设计

项目需求分析

1. 数据采集平台搭建

2. 实现用户行为数据仓库的分层搭建

3. 实现业务数据仓库的分层搭建

4. 针对数据仓库中的数据进行，留存、转化率、GMV、复购率、活跃等报表分析

---

需要考虑的问题:

1. 项目技术如何选型？

2. 项目中所用的框架的版本如何选型（Apache、CDH、HDP）

3. 服务器选用物理机还是云主机？

4. 如何确认集群规模

项目框架

技术选型

• 数据采集传输：Flume，Kafka，Sqoop ，Logstash，DataX

• 数据存储：MySql，HDFS，HBase，Redis，MongoDB

• 数据计算：Hive，Tez， Spark， Flink，Storm

• 数据查询：Presto，Druid ，Impala，Kylin

系统数据流程设计

公众号ID：ldc11235

扫码关注最新动态，跟我一起学大数据