E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
SCD2
Hive ETL自动化实战:6大清洗策略×4种转换技巧×DolphinScheduler全链路调度方案
目录背景一、HiveETL核心架构设计1.三阶段核心流程2.企业级ETL分层模型二、六大清洗策略实战场景1:电商订单数据清洗三、四大转换技巧解析技巧1:
SCD2
历史维度处理技巧2:跨表指标计算四、DolphinScheduler
一个天蝎座 白勺 程序猿
·
2025-04-06 12:18
大数据开发从入门到实战合集
hive
etl
自动化
Hive 拉链表实践
拉链表可以避免按每一天存储所有记录造成的海量存储问题,同时也是处理缓慢变化数据(
SCD2
)的一种常见方式。
000X000
·
2023-03-11 03:00
数据仓库
数据建模
HIVE
hive
big
data
hadoop
Hive
拉链表实践
Hive 拉链表
拉链表可以避免按每一天存储所有记录造成的海量存储问题,同时也是处理缓慢变化数据(
SCD2
)的一种常见方式。应用场景现假设有如下场景:一个
野狼e族
·
2020-09-16 03:50
大数据
Hive
HAWQ取代传统数仓实践(六)——增加列
本篇说明如何在客户维度表和销售订单事实表上添加列,并在新列上应用
SCD2
wzy0623
·
2017-05-23 17:00
基于Hadoop生态圈的数据仓库实践 —— 进阶技术(一)
本节说明如何在客户维度表和销售订单事实表上添加列,并在新列上应用
SCD2
,以及对定时装载脚本所做的修改。假设需要在客户维度中增加送货地址属性,并在销售订单事实表中增加数量度量值。
wzy0623
·
2016-07-13 18:00
在Hive上实现SCD
既然是数据仓库就离不开多维、CDC、SCD这些概念,于是尝试了一把在Hive上实现SCD1和
SCD2
。这有两个关键点,一个是行级更新,一个是生成代理键。
wzy0623
·
2016-05-26 17:00
维度模型数据仓库(六) —— 增加列
然后进一步说明如何在客户维度和销售订单事实表上添加列,并在新列上应用
SCD2
。假设需要在客户维度中增加送货地址属性,并在销售订单事实表中增加数量度量值。
wzy0623
·
2015-11-04 21:00
使用BO DI处理
SCD2
维表
之后以员工维表数据为例,详细说明如何使用BODI实现
SCD2
维表的ETL。最后讲解了
SCD2
维表如何使用。
永和
·
2014-04-13 03:00
工作
咨询
使用BO DI处理
SCD2
维表
之后以员工维表数据为例,详细说明如何使用BO DI实现
SCD2
维表的ETL。最后讲解了
SCD2
维表如何使用。
winvor
·
2009-09-07 23:00
工作
咨询
维表历史信息的维护
SCD2
创建新的记录而不删除或修改原有维信息。可通过为每条记录设定过期时间、生效时间两个字段来区分各历史记录和当前记录(历史记录的过期时间均早于当前记录的生
buganywhere
·
2009-02-24 22:00
mysql
上一页
1
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他