大数据架构

系分 - 案例分析 - 架构设计（Web架构）

服务器分离应用服务器集群负载均衡负载均衡技术静态与动态算法Session共享机制有状态与无状态持久化技术ORM数据库技术CND内容分发网络XML与JSONWeb应用服务器REST响应式Web设计中台云计算边缘计算Web系统分层物联网架构大数据架构典型例题题目描述参考答案案例分析
WorkLee·2023-09-25 13:33

字节跳动大数据容器化构建与落地实践

动手点关注干货不迷路随着字节跳动旗下业务的快速发展，数据急剧膨胀，原有的大数据架构在面临日趋复杂的业务需求时逐渐显现疲态。
字节跳动技术团队·2023-09-24 14:48

【新版】系统架构设计师 - 案例分析 - 架构设计＜Web架构＞

服务器分离应用服务器集群负载均衡负载均衡技术静态与动态算法Session共享机制有状态与无状态持久化技术ORM数据库技术CND内容分发网络XML与JSONWeb应用服务器REST响应式Web设计中台云计算云原生架构边缘计算Web系统分层物联网架构大数据架构架构
WorkLee·2023-09-24 01:18

Spring Boot+Spring mvc+Mybatis的基础框架demo

后续我会陆续更新，微服务架构（SpringBoot、SpringCloud）、分布式架构（Dobbo+Zookeeper）、大数据架构以及源码解析等相关的文章，感兴趣的
゛Smlie。·2023-09-21 12:25

阿里大数据架构师告诉你这些大数据面试题！你不看？

随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。分析师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。在这里相信有许多想要学习大数据的同学，大家可以
大数据学习02·2023-09-18 09:15

Hive和Hbase的区别

先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
夜空最亮的9星·2023-09-12 15:34

【珍藏版】数仓平台、推荐系统架构选型及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注【好文推荐】【好文推荐】【好文推荐】【好文推荐】【好文推荐】⼤数据平台基础架构及解决⽅案_
大数据研习社·2023-09-12 06:02

数据仓库-主数据管理

本文来源于网络，如有侵权，联系本人删除：tianyachangkong来源：BAT大数据架构导读：企业主数据指企业内一致并共享的业务主体。
zhubeili·2023-09-11 06:39

【新版】系统架构设计师 - 案例分析 - 总览

总览新旧大纲对应旧版新版系统规划软件架构设计设计模式系统设计系统建模分布式系统设计嵌入式系统设计系统的可靠性分析与设计系统的安全性和保密性设计系统计划信息系统架构的设计理论和实践层次式架构的设计理论与实践云原生架构设计理论与实践设计模式面向服务的架构设计理论与实践嵌入式系统概述通信系统架构的设计理论和实践安全架构的设计理论与实践大数据架构设计理
WorkLee·2023-09-11 01:04

构建现代应用：Java中的热门架构概览

文章目录1.三层架构2.Spring框架3.微服务架构4.JavaEE（EnterpriseEdition）5.响应式架构6.大数据架构7.领域驱动设计（Domain-DrivenDesign，DDD）
IT·陈寒·2023-09-03 02:09

【大数据】数据湖：下一代大数据的发展趋势

数据湖：下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结
G皮T·2023-09-01 16:24

系统架构设计高级技能 · 大数据架构设计理论与实践

系列文章目录系统架构设计高级技能·软件架构概念、架构风格、ABSD、架构复用、DSSA（一）【系统架构设计师】系统架构设计高级技能·系统质量属性与架构评估（二）【系统架构设计师】系统架构设计高级技能·软件可靠性分析与设计（三）【系统架构设计师】现在的一切都是为将来的梦想编织翅膀，让梦想在现实中展翅高飞。Noweverythingisforthefutureofdreamweavingwings,l
Allen.Su·2023-08-27 07:06

《大数据导论》读书笔记——Chapter 7（1）

本章主要深入探究磁盘存储与内存存储在大数据架构中的应用。分别讲解磁盘存储设备和内存存储设备。这一章体量略大，分两篇来写。1.磁盘存储设备磁盘存储方式通常是指用低成本的硬盘进行长期存储。
玉小灵灵七·2023-08-26 14:33

HBase 和 Hive 的差别是什么，各自适用在什么场景中？

https://www.zhihu.com/question/21677041/answer/185664626先放结论：Hbase和Hive在大数据架构中处在不同位置：Hbase主要解决实时数据查询问题
MayerBin·2023-08-24 16:03

大数据架构师之路

1、同时拥有实时和离线处理的架构，既保证低延迟，又保障正确性。这个方法被称作Lambda架构，它通过批量MapReduce作业提供了虽有些延迟但是结果准确的计算，同时通过flink/Storm将最新数据的计算结果初步展示出来。双路生产会存在一些问题，比如加工逻辑double，开发运维也会double，资源同样会变成两个资源链路。因为存在以上问题，所以又演进了一个Kappa架构。Kappa架构从架构
laogooooog·2023-08-23 11:04

后Hadoop时代的大数据架构

背景篇Hadoop:开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非结构化数据，包括HDFS，MapReduce基本组件。HDFS：提供了一种跨服务器的弹性数据存储系统。MapReduce：技术提供了感知数据位置的标准化处理流程：读取数据，对数据进行映射（Map），使用某个键值对数据进行重排，然后对数据进行化简（Red
juan188·2023-08-23 05:46

2023 计算机职业规划

目录一、开发二、测试三、运维四、python发展方向五、C#发展方向六、嵌入式（物联网）一、开发前端（网页端）js后端（python、java、golang、php、c#）->架构师（技术架构师、大数据架构师
落雨碎江南 Lucinda·2023-08-22 19:35

数据仓库系列篇之实现架构

@Author:Spinach|GHB@Link:http://blog.csdn.net/bocai8058文章目录前言架构历史演变离线大数据架构实时架构之Lambda架构实时架构之Kappa架构Lambda
小学僧来啦·2023-08-08 13:53

计算机毕业设计全网首发Python+Spark招聘爬虫可视化系统 招聘数据分析 Hadoop职位可视化 大数据毕业设计 51job数据分析(可选加推荐算法)

开发技术Hadoop、HDFS、Spark、SpringBoot、echarts、PySpark、Python、MySQL创新点大数据架构、爬虫、数据可视化啰里啰嗦适合大数据毕业设计、数据分析、爬虫类计算机毕业设计可二次开发选加推荐算法
计算机毕业设计大神·2023-08-07 19:45

挂载 机械硬盘_揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！

腾讯云kafka作为腾讯医疗大数据架构中的关键组件。在面对业务短时间内成倍的数据存储需求的情况下，如何快速响应、快速扩容以支持业务的稳定运行的呢?
weixin_39701735·2023-08-03 22:46

大数据架构师从入门到精通，你get到了吗？

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是
yoku酱·2023-08-03 01:18

2分钟大白话：什么是大数据架构。人人好懂

问题背景在40岁老架构师尼恩的读者社区(50+)中，尼恩一直指导大家写简历，做面试，最高的拿到年薪近100W。昨天指导一个阿里p6小伙写简历，做面试。在帮他挖掘简历亮点时，发现他项目在Java上没有什么技术亮点，他项目的核心亮点，就在大数据没错，就是大数据。但是小伙伴对大数据有畏惧心理，担心自己驾驭不了。尼恩想说，其实大数据其实很简单，所以，大家不用有畏惧心理。这里尼恩给大家写一篇文章，2分钟大白
40岁资深老架构师尼恩·2023-08-03 00:20

大数据架构图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
ixiaoyang8·2023-07-31 17:10

大数据技术及大数据架构

大数据架构分为：数据来源层->数据采集层->分布式存储层->传输层->分析计算层->业务存储层->展示层共七层，基本使用flumesqoophivehadoopsparkflinkmysqlredislogstashelasticsearchdatax
玄明Hanko·2023-07-31 17:39

大数据架构详解：从数据获取到深度学习（内含福利）

机器学习（MachineLearning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。其专门研究计算机是怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，使之不断改善自身的性能。此外，数据挖掘和机器学习有很大的交集。本文将从架构和应用角度去解读这两个领域。机器学习和数据挖掘的联系与区别数据挖掘是从海量数据中获取有效的、新颖的、
yoku酱·2023-07-31 16:32

十、批流一体流程化大数据架构设计

1、技术背景在当代信息社会中，数据的处理和分析已经成为了一个重要的议题，大量的数据处理需求推动了数据处理技术不断的发展，出现了很多解决海量数据处理的软件方案。然而，当前的处理方案往往存在着数据处理不能实时、配置复杂、处理过程不规范，不适用于异构平台的问题。因此，如何解决异构平台下海量数据高效处理的问题成为了数据处理技术的新的研究方向。本设计提出了一种数据处理的图形化、流程化、自动化的解决方案，主要
vandh·2023-07-25 22:03

Flink Connector 深度解析

作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学，曾就职于奇虎360、58集团。
zhisheng_blog·2023-07-24 00:53

基于大数据架构实现景点游客数据分析平台，全国景点游客数据管理系统

随着最近几年旅游行业的兴起，越来越多的景区景点将传统模式的线下统计模式变更成为了线上分析统计模式，线上对景区游客数据的管理与监督的新型模式。很多的景点采用游客数据分析平台系统，在线上对不同景点内部的游客数据进行管理，对景区各部门的员工进行管理，实现游客旅游数据分析的数字化，一体化。本次毕业设计景点游客数据分析平台，采用springboot、springcloud，hadoop，hbase，es等技
Q计算机程序优异哥_2934918046·2023-07-20 12:46

利用鸿鹄优化共享储能的SCADA 系统功能，赋能用户数据自助分析

摘要本文主要介绍了共享储能的SCADA系统大数据架构，以及如何利用鸿鹄来更好的优化SCADA系统功能，如何为用户进行数据自助分析赋能。
炎凰数据·2023-07-20 00:20

【新版系统架构】第十九章-大数据架构设计理论与实践

大数据处理系统架构大数据处理系统面临挑战如何利用信息技术等手段处理非结构化和半结构化数据如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响大数据处理系统架构特征鲁棒性和容错性低延迟读取和更新能力横向扩容通用性延展性即席查询能力最少维护能力可调式性Lambda架构Lambda架构用于同时处理离线和实时数据，可容错，可扩展的分
阿提说说·2023-07-16 22:40

java小白训练营day03-数据结构：jUnit+基本类型+包装类型+数组+对象

（语言自身c/java）新程序：数据结构+算法（已经不是重点）+框架+架构框架：mvc框架，新三大框架springmvc+spring+mybatis架构：分布式架构、微服务架构、开发运维一体化架构、大数据架构
长安紫薯·2023-06-17 20:42

大数据架构PK：Hadoop与MPP的区别

在最近的时间里，我听到了很多关于该主题的讨论。同样，这是一个非常受欢迎的问题，是由在“大数据”领域经验不足的客户提出的。实际上，我不喜欢这个含糊不清的流行语，但这就是客户通常会来找我们的原因，因此我必须使用它。如果回头看5年前，那是大多数公司都不选择Hadoop的时候，尤其是对于那些要求稳定和成熟平台的企业而言。那时，选择非常简单：当分析数据库的大小超过5-7TB时，您只需启动一个MPP迁移项目，
独行侠梦·2023-06-17 02:14

大数据学习归纳

修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题大数据组件概念集群：多个人做同样的事分布式：多个人协作
猫腻余腥·2023-06-14 18:52

Hulu大数据架构与应用经验

内容来源：2017年8月12日，Hulu大数据架构部门负责人董西成在“网易博学实践日：大数据与人工智能技术大会”进行《Hulu大数据架构与应用经验》演讲分享。
IT大咖说·2023-06-13 17:28

基于 Flink CDC 的实时同步系统

摘要：本文整理自科杰科技大数据架构师张军，在FFA数据集成专场的分享。
·2023-06-13 16:08

互联网企业大数据架构

携程机票image.png去哪玩乐2014年image.pngimage.pngimage.png京东image.png
数据智能谷·2023-06-11 22:16

一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比

我们先回顾一下数据仓库的发展历程：传送门-数据仓库发展历程写在前面咳，随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构>离线大数据架构
张家的鱼摆摆·2023-06-09 21:32

深入理解大数据架构之——Lambda架构

目录传统系统的问题Lambda架构简介Lambda架构关键特性数据系统的本质Lambda的三层架构Lambda架构组件选型总结原文链接：https://jiang-hao.com/articles/2019/big-data-lambda-architecture.html传统系统的问题“我们正在从IT时代走向DT时代(数据时代)。IT和DT之间，不仅仅是技术的变革，更是思想意识的变革，IT主要是
m0_37595954·2023-06-09 21:58

大数据架构之--Kappa架构

一、什么是Kappa架构Kappa架构是由LinkedIn的前首席工程师杰伊·克雷普斯（JayKreps）提出的一种架构思想。克雷普斯是几个著名开源项目（包括ApacheKafka和ApacheSamza这样的流处理系统）的作者之一。Kreps提出了一个改进Lambda架构的观点：通过改进Lambda架构中的SpeedLayer，使它既能够进行实时数据处理，同时也有能力在业务逻辑更新的情况下重新处
lwqhp·2023-06-09 21:54

百度用户产品流批一体的实时数仓实践

文章整体包含4个部分，首先会介绍下大数据架构演进，从经典架构到Lambda架构再到Kappa架构；然后会介绍下我们做流批一体实时数仓的背景，旧架构面临的主要问题；第三会介绍下我们流批一体实时数仓的技术方案
百度Geek说·2023-06-09 10:09

火山引擎云原生大数据在金融行业的实践

大数据架构向云原生演进是行业的重要趋势，火山引擎协助关键金融客户在大数据云原生方向进行了深度实践，形成了整体解决方案，本文将分享火山引擎云原生大数据在金融行业的实践。
字节跳动云原生计算·2023-06-09 07:52

大数据架构系列：如何理解湖仓一体？

转载：如有侵权，告知即删除引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂商也纷纷推出自己的数据湖、云数据仓库、湖仓一体产品。大数据领域概念（术语）还是非常多的，大多数时候都是先射箭再画靶
dkjhl·2023-06-08 18:58

大数据架构

1.1如何构建大数据平台？1.1.1数据库与ER建模1.1.1.1数据库（DataBase）1.1.1.2数据库三范式1.1.1.3ER实体关系模型1.1.1.4ER实体关系模型案例1.1.2数据仓库构建与分层1.1.2.1为什么构建数据仓库1.1.2.2什么是数据仓库1.1.2.3数据仓库发展历史1.1.2.4数据仓库维度建模1.1.2.5维度建模案例1.1.2.6数据仓库分层设计1.1.2.7
添柴少年yyds·2023-06-08 18:55

《数据智能知识地图》——数据湖篇

现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。在商业智能（BI）和数据仓库还没有被淘汰的今天，大数据分析和大数据湖正在向更多类型的实时智能服务发展，这些实时的智能服务可以支持实时的
大数据食铁兽·2023-06-08 18:36

浅谈数据治理

随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构，面向大数据架构下，为数据资源中心与外部数据系统提供数据服务。那么，数据治理到底治什么？
产品经理自我修养·2023-06-07 15:37

大数据架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文主要介绍大数据架构师的岗位工作职责及应具备的能力。如下图所示
皮皮杂谈·2023-06-07 07:18

一文看懂阿里、京东、滴滴大数据架构变迁

上一篇：39岁阿里P9失业了，总资产1.5亿……01大数据技术变迁概述大数据的概念从上世纪90年代被提出，03-06年Google的3篇经典论文（GFS、MapReduce、Bigtable）作为奠基，Hadoop等优秀系统的出现使之繁荣，经历了十余年的时间。从GartnerHypeCycle这一行业技术发展的趋势图看，大数据从2011年进入该图谱，2014年被标记为进入衰退期，2015年开始不再
互联网架构·2023-04-20 14:39

12年经验的大数据架构师，想和你谈谈…

就在本周，又有一位资深大数据架构师加入菜鸟窝的大数据讲师团队，基于他长达6页的工作履历，小姐姐马上对这位大咖做一个快速访谈，感兴趣的小伙伴们，我们很快就能在公开课上和Dennis老师实时交流了！
菜鸟窝·2023-04-20 10:42

【译】Cloudera Manager（CDH）入门系列之二 （架构）

请输入图片描述扫码关注微信公众号"Kooola大数据"扫码关注微信公众号号"Kooola大数据"，一起聊聊大数据架构（Architecture）如下图所示，ClouderaManager的核心是ClouderaManagerServer
Kooola大数据·2023-04-15 22:47

大数据架构模式lambda和kappa的对比

一.lambda架构如图所示，将收集到的数据通过kafka和flume等传递到计算层；数据存储在hdfs或者redis等组件中；计算部分分为两种，实时计算和离线计算；实时计算有storm,flink,stormstreaming和flinkstream；离线部分包括hive和sparksql等数据计算完之后，存储到组件中;其它业务可以从这里拉取计算结果优势（1）经过多年发展，比较稳定，也有比较多的
w970069059·2023-04-13 18:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他