E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据架构
MYSQL的读写扩展
2.mpp
数据架构
是一种处理大规模数据分析任务的分布式
数据架构
,大规模并行处理。当执行一条SQL语句时,会将语句发送到所有数据节点进行查询处理,利用多节点的计算能力进行计算。
hailang86
·
2024-03-12 23:16
mysql
数据库
全面解析湖仓一体与大数据演进历程|内含技术工具选型策略
大
数据架构
的演进历程对于大部分人来说,大
数据架构
所涉及的概念及术语繁多且复杂。如何将这些混乱的词汇转化
云智慧AIOps社区
·
2024-02-20 17:32
技术干货
big
data
分布式
运维
数据湖
clickhouse
一文搞懂 MySQL、debezium 和 ElasticSearch 的时间格式
整个项目的
数据架构
如下:MySQL的数据类型以MySQL5.7版本为例,MySQL的时间类数据类型包括:DATE,YEAR,TIME,DATETIME,TIMESTAMP5种。
程序员白总
·
2024-02-20 09:58
flink
mysql
elasticsearch
数据库
大数据
flink
debezium
CDC
大
数据架构
体系(数据仓库)
1、传统大
数据架构
优点缺点使用场景简单,易懂,对于BI系统来说,基本思想没有发生变化,变化的仅仅是技术选型,用大
数据架构
替换掉BI的组件1、没有BI下如此完备的Cube架构,虽然目前有kylin,但是kylin
Shaw_Bigdata
·
2024-02-19 21:52
技术学习分享
数据仓库
大数据
【遇见Doris】Doris on ES在快手商业化的最佳实践
贺祥快手商业化团队
数据架构
高级工程师主要负责商业化报表引擎快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务,以及为商业化内部各系统提供多维分析报表查询服务。
ApacheDoris
·
2024-02-08 11:04
数据仓库
大数据
分布式
数据库
java
【Doris】Doris on ES在快手商业化的最佳实践
1业务场景介绍1.1服务介绍本文主要侧重介绍DorisonES(DOE)在我们业务场景的实践,所以我们的
数据架构
在这里只做简单介绍,如上如图所示。
九层之台起于累土
·
2024-02-08 11:34
【Doris】
【BigData】
elasticsearch
大数据
kafka
数据库
文末附群|Doris on ES在快手商业化的最佳实践
贺祥快手商业化团队
数据架构
高级工程师主要负责商业化报表引擎快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务,以及为商业化内部各系统提供多维分析报表查询服务。
小晨说数据
·
2024-02-08 11:33
Doris专栏
数据库
分布式
java
xhtml
大数据
HDFS架构 之 元
数据架构
解析
1、内存Tree介绍啊1.1namenode启动流程1.1.1启动流程1、加载fsimage文件FsImage是一种持久化到磁盘上的文件,里面包含了集群大部分的meta数据,持久化的目的主要是为了防止meta数据丢失,也就是在HDFS不可用的情况下还能够保证绝大多数的数据是正常的。这个工作在Namenode服务中有专门的线程去做。FsImage文件最终会被保存在${dfs.namenode.nam
Studying!!!
·
2024-02-07 17:23
中间件
hdfs
架构
hadoop
TDengine 签约杭州云润,助力某大型水表企业时序数据处理
因此,越来越多的企业开始进行
数据架构
改造,引入先进的时序数据库和相关技术,以实现更好的时序数据处理能力。近日,TDengine与杭州云润科技有限公司达成签约合作。
涛思数据(TDengine)
·
2024-02-06 09:39
新闻
tdengine
大数据
时序数据库
大数据之路—
数据架构
体系及模型设计
大数据之路—
数据架构
体系及模型设计一、阿里巴巴数据整合及管理体系二、维度设计1、基本概念2、规范化和反规范化3、维度整合4、维度拆分5、维度变化6、特殊维度三、事实表设计1、事实表特性2、事实表类型3、
长不大的大灰狼
·
2024-02-05 04:03
大数据
大数据
架构
镜舟科技客户成功团队负责人孟庆欢:湖仓一体将成为
数据架构
的新范式
大数据产业创新服务媒体——聚焦数据·改变商业随着数字化的概念逐步深入不同领域企业的运营中,业务形态和数字化路径也越来越丰富。这也为企业数据处理、储存的方式提出了更多要求。对于企业,尤其是数据驱动型企业来说,需要强大的解决方案来管理和分析整个组织中的大量数据,这些系统必须具有可伸缩性、可靠性和安全性,并且必须具有足够的灵活性以支持各种数据类型和使用场景。这些要求远远超出了任何传统数据库的能力,因此,
数据猿
·
2024-02-04 06:40
科技
架构
Hive和Hbase的各自适用场景
先放结论:Hbase和Hive在大
数据架构
中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。
yoku酱
·
2024-02-02 17:36
实现成本最优的一体化管理,新一代数据平台的建设方式丨爱分析调研
3.组装式
数据架构
逐渐老旧。建议企业采用一体化为特点的新一代数据平台,能更好地解决成本优化、平台扩展性等问题,并可将更多资源投入到业务创新中。十年数据平台建设,企业用户依然
ifenxi爱分析
·
2024-02-01 20:10
人工智能
企业数字化战略要做到一米宽,一千米深
怎样构建现代化
数据架构
?
戴尔科技
·
2024-02-01 17:41
安全
多云
数字化
架构设计师总结集
架构设计师总结集一、软件架构二、软件开发三、系统构件四、其他五、架构评估1.质量效应树2.架构模式2.1解释器模式2.2管道-过滤器模式2.3隐式调用2.4仓库3.描述对象之间的动态交互关系4.面向对象模型:5.
数据架构
夜白宋
·
2024-02-01 07:39
基础数据结构
架构
网络
大
数据架构
简述流处理、批处理、交互式查询
我们将大数据处理按处理时间的跨度要求分为以下几类基于实时数据流的处理,通常的时间跨度在数百毫秒到数秒之间基于历史数据的交互式查询,通常时间跨度在数十秒到数分钟之间复杂的批量数据处理,通常的时间跨度在几分钟到数小时之间1.流处理流是一种数据传送技术,它把客户端数据变成一个稳定的流。正是由于数据传送呈现连续不停的形态,所以流引擎需要连续不断处理数据流处理的主要应用场景:金融领域和电信领域1.1Stom
叫我老村长
·
2024-02-01 01:09
TDengine 签约海博思创,助力储能运维平台数据管理
为了实现数据的有效处理和利用,储能运维平台需要具备高性能的数据处理和分析能力,采用先进的数据存储和计算技术,构建可扩展的
数据架构
。在此背
涛思数据(TDengine)
·
2024-01-30 07:11
新闻
tdengine
大数据
时序数据库
Python+Web玩爆超炫酷页面
上课日期:7月17日上课时间:15:00-16:30主讲老师:樊老师课程介绍no.1老师简介老师简介:国内知名讲师、大
数据架构
师、多年来就职于国内一线知名互联网公司担当要职、有多年的开发经验、教学经验、
誉天梦老师
·
2024-01-30 02:47
系统架构设计师教程(十九)大
数据架构
设计理论与实践
大
数据架构
设计理论与实践19.1传统数据处理系统存在的问题19.2大数据处理系统架构分析19.2.1大数据处理系统面临挑战19.2.2大数据处理系统架构特征19.3Lambda架构19.3.1Lambda
赫凯
·
2024-01-30 00:34
#
《系统架构设计师教程》
系统架构
大数据
企业级大数据安全架构(六)数据授权和审计管理
作者:楼高本节详细介绍企业级大
数据架构
中的第六部分,数据授权和审计管理1.Ranger简介ApacheRanger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架,为Hadoop生态系统众多组件提供一个统一的数据授权和管理界面
云掣YUNCHE
·
2024-01-27 07:30
企业级大数据安全架构
大数据
安全架构
安全
数字经济时代的数据管理利器:ERD Online
但是,面对复杂的
数据架构
和繁琐的管理流程,我们怎样才能既保持敏捷又不失规范呢?答案可能就在全球首款开源、免费在线数据建模平台——ERDOnline。
ERD Online
·
2024-01-26 13:38
后端
毕业设计——基于spark的电影推荐系统,包括基于ALS、LFM的离线推荐、实时推荐
项目以推荐系统建设领域知名的经过修改过的MovieLens数据集作为依托,以电影网站真实业务
数据架构
为基础,包含了离线推荐与实时推荐体系,综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。
Python豆豆
·
2024-01-25 22:21
毕业设计指导及定制
课程设计
spark
大数据
银行数据仓库体系实践(7)--数据模型设计及流程
这里就需要有良好的数据分区和数据模型,那数据分区在第三部分
数据架构
中已经介绍,本节将介绍如何进行数据模型的设计。
南极找南
·
2024-01-25 17:51
银行数据仓库
数据仓库
大数据
Redis 笔记四
概要:1.高并发场景秒杀抢购超卖bug实战重现2.阿里巴巴内部高并发秒杀下单方案首次揭秘3.基于Reddis+MQ实现秒杀下单架构4.10万订单每秒热点
数据架构
优化实践5.秒杀下单MQ如何保证不丢失消息
庄园特聘拆椅狂魔
·
2024-01-25 12:45
中间件
redis
笔记
数据库
银行数据仓库体系实践(3)--
数据架构
狭义的数据仓库
数据架构
用来特指数据分布,广义的数据仓库
数据架构
还包括数据模型、数据标准和数据治理。
南极找南
·
2024-01-24 07:42
银行数据仓库
数据仓库
架构
数据库-分库分表初探
取模方案range范围区间取值方案映射表方案分库分表问题事务一致性问题跨节点关联查询跨节点分页、排序函数主键避重公共表分库分表工具分库后的查询问题数据迁移停机迁移(一般都不允许)不停机迁移上线TiDB分布式
数据架构
雪花算法
star-1331
·
2024-01-23 18:02
数据库
数据库
OceanBase在作业帮业务的应用实践
在业务初期,作业帮使用阿里云ECS自建MySQL,同时最大程度利用自建DBasS平台完成初期业务的快速扩张,为业务提供稳定的OLTP能力,但随着业务数据量飞速上涨,该
数据架构
逐渐呈现亟需解决的技术痛点。
OceanBase数据库官方博客
·
2024-01-23 16:05
oceanbase
大数据学习之 Flink
的区别六:初步开发七:Flink配置说明八:环境九:运行组件一:简介Flink是一个框架和分布式得计算引擎,对于无界和有界数据流进行状态计算二:为什么选择Flink流数据更真实地反应了我们得生活方式传统得
数据架构
是基于有限数据集的低延迟
会编程的海贼王
·
2024-01-22 19:58
Flink
大数据
Flink
【Rust招聘】美团基础研发平台招聘Rust开发工程师 base北京/上海
助力业务降本增效深入业务场景,协助排查和解决问题,驱动存储系统研发参与美团Raptor监控系统需求评审、产品技术方案设计、开发及相关技术文档编写,高效交付业务需求,保障系统的可维护性参与美团可观测系统
数据架构
迭代升级路径的规划并推动落地
Rust语言中文社区
·
2024-01-20 11:10
rust
开发语言
后端
五年Java外包转型大
数据架构
乔二爷(化名)是我学习群的元老,我们去年就认识,他是五年Java经验的老鸟。去年年底他刚开始学大数据的时候给我打过电话,咨询一些学习路线上的问题,那时刚转型大数据的我给了他几点不太成熟的建议,今年年初就成功转型了,并且从数据开发到现在的架构,实属牛逼。个人介绍我乔二爷,专科,坐标二线城市。14年8月毕业开始从事Java开发,月薪3800,在外地驻场两年多,17年初开始接触大数据,18年底开始系统学
大数据基础入门教程
·
2024-01-19 16:32
大数据
大数据架构
大数据开发
Fabric SDK
需求工程,架构区块链应用的需求工程-需求获取/验证参考应用架构-银行案例参考
数据架构
商务智能(BI)Fabric-ca-clientCommonAPI:RegisterEnroll登记Reenroll重新注册
宋song一
·
2024-01-18 18:36
字节跳动大
数据架构
面经(超详细答案总结)
字节一面1面试官:简单的做个自我介绍吧面试官,您好!我叫xxx,xxxx年x月毕业于xxx学校,xx学历,目前就职于xxx公司xxx部门,职位为:大数据开发工程师,主要从事于xxx组件、平台的开发工作。工作以来,我先后参加了xxx项目、xxx项目以及xxx项目,积累了丰富的项目经验,同时,这x个项目都得到了领导的一致好评。我对Flink组件有着浓厚的兴趣,工作之余经常钻研技术、例如:Flink四大
Python栈机
·
2024-01-18 12:39
面试
职场和发展
python
开发语言
程序人生
HBase集群写入出现大量毛刺排查
大家好,我是K&D,一名10年以上大
数据架构
&研发经验从业者,目前主要从事云原生大数据方向设计,擅长云原生技术、
数据架构
、数据平台构建、大数据组件性能调优问题现象查看监控,业务请求量正常,但是server
KubeData
·
2024-01-17 02:12
大数据技术
大数据
架构
hbase
一文了解数据库vs数据仓库vs数据湖
大家好,我是K&D,一名10年以上大
数据架构
&研发经验从业者,目前主要从事云原生大数据方向设计,擅长云原生技术、
数据架构
、数据平台构建、大数据组件性能调优以下是本文目录:什么是数据库?
KubeData
·
2024-01-17 02:11
云原生大数据
大数据技术
数据库
数据仓库
大数据
数据库架构
程序员如何构建自己的「护城河」
大家好,我是K&D,一名10年以上大
数据架构
&研发经验从业者,目前主要从事云原生大数据方向设计,擅长云原生技术、
数据架构
、数据平台构建、大数据组件性能调优关注我,持续分享更多技术干货0.何为「护城河」前段时间
KubeData
·
2024-01-17 02:41
个人成长
职场和发展
CDMP(Data Architecture)
数据架构
数据架构
的思考从数据角度来看,没有组织可以从头开始。即使一个做到了,数据依赖性很快就出现了架构启用组织及其数据的总体视图。
冰菓_lam
·
2024-01-16 19:43
《业务架构.应用架构.
数据架构
实战》之一
第一章主要是讲架构实践全景图。1.有哪些架构?什么是架构,在日常工作的各种报告中,有各种各样的架构,系统架构、信息架构、数字化架构、物理架构、逻辑机构、功能架构等等。每次在报告评审的时候,各种评委专家都会针对方案的架构提出一大堆问题与建议,听得云里雾里的,特别是做方案报告时,系统架构更是重中之重,但一般来说,评委都知道这个东西很重要,但每个评委认为的架构确是不一样的。是功能架构、逻辑架构还是物理架
后山人_HSR
·
2024-01-15 16:42
【大数据】深入浅出 Apache Flink:架构、案例和优势
深入浅出ApacheFlink:架构、案例和优势1.现代大
数据架构
1.1什么是批处理?1.2什么是流处理?
G皮T
·
2024-01-15 15:11
#
Flink
大数据
flink
流处理
批处理
pipeline
实时计算
流批一体
Palantir vs Splunk 谁是大数据分析的领头羊
大数据已经被讨论了有将近十几年的历史了,数据的搜集方通过
数据架构
数据系统数据管理质量控制数据整合数据存储数据转换数据治理来实现生产效率的提升和成本的降低,更重要的是,这些搜集来的数据可以帮助利益相关方作出决策
颜言笔谈
·
2024-01-15 14:15
云和恩墨 -全球化数据资产端到端解决方案服务商
公司简介【云和恩墨】——全球化数据资产端到端解决方案服务商云和恩墨以“数据驱动,成就未来”为使命,以客户最核心的数据资产为中心,围绕业务架构、
数据架构
、应用架构和IT基础架构提供高价值的产品和专业服务,
云和恩墨
·
2024-01-15 12:49
数据库
运维
大数据
人工智能
云服务
数据治理工程师CDGA
数据架构
(C)A业务架构B
数据架构
C系统架构D技术架构2.关于架构设计生命周期描述错误的是?
jiedaodezhuti
·
2024-01-15 02:59
大数据
大数据
netty(T-io)详解(包含4种io模型详解)
高并发架构师、大
数据架构
师或者说java高级工程师现在才能找到一份好工作。
Dark_Code
·
2024-01-14 19:24
netty
T-io
java
java
开发语言
2023年第十四届中国数据库技术大会(DTCC2023):核心内容与学习收获(附大会核心PPT下载)
重点围绕HTAP与多模数据库应用、图数据技术、海量
数据架构
下的应用实践、云原生数据库、异构环境下的数据管理工具创新等内容展开分享和探讨。一、大会核心内容1、数据库技术的发展与趋势DTCC
百家峰会
·
2024-01-14 12:28
数据库
大数据
DTCC
数据库
学习
大数据
政务数据资产管理之
数据架构
数据架构
设计将助力政务向“数据驱动”的方式管理。本文结合作者政务规划实践的经验,从数据管理体系和大数据中心建设二个视角,阐述了大数据背景下,政务
数据架构
的构建模式,如对读者有所借鉴将倍感荣幸。
数据智能谷
·
2024-01-13 22:49
【2024系统架构设计】 系统架构设计师第二版-层次式架构设计理论与实践
目录一表现层框架设计二中间层架构设计三数据访问层设计四
数据架构
规划与设计五物联网层次架构设计六层次式架构案例分析
Jackilina_Stone
·
2024-01-13 03:15
系统架构设计师
软考
高级
系统架构设计师
TDengine 签约积成电子
为了应对这些挑战,越来越多的电力企业开始引入时序数据库来改造系统
数据架构
。近日,TDengine与积成电子达成签约合作。借助TDengine高
涛思数据(TDengine)
·
2024-01-12 20:30
新闻
tdengine
大数据
时序数据库
Spark避坑系列(三)(Spark Core-RDD 依赖关系&持久化&共享变量)
大家想了解更多大数据相关内容请移驾我的课堂:大数据相关课程剖析及实践企业级大数据
数据架构
规划设计大厂架构师知识梳理:剖析及实践数据建模PySpark入坑系列第三篇,该篇章主要介绍spark的编程核心RDD
garagong
·
2024-01-12 09:13
大数据
spark
大数据
hadoop
分布式
数据处理
大
数据架构
师从入门到精通 学习必看宝典
经常有初学者在博客和QQ问我,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高。如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣?是软件专业,对软件开发、编程、写代码感兴趣?还是数学、统计学专业,对数据和数字特别感兴趣。其实这就是
看看山观观海
·
2024-01-12 09:39
架构美文
数据结构--Iterable、Collection、List 的常见方法签名以及含义
目录1.整体类、
数据架构
2.Iterable3.Collection4.List1.整体类、
数据架构
集合(Collection)类:JDK中实现了常用数据结构及算法的一组类、接口的组合集合类对象,主要表现一组用来装载其他对象的容器对象容器
5:00A.M
·
2024-01-12 06:22
数据结构
Java知识总结
java
数据结构
【翻译】DataHub:流行的元
数据架构
讲解
原文:https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained目录数据发现:一个问题,多种解决方案什么是数据目录?为什么需要目录?第一代架构:Monolith一切好处缺点这对我意味着什么?第二代架构:带有服务API的三层应用好处缺点这对我意味着什么?第三代架构:基于事件的元
王登山
·
2024-01-11 21:10
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他