大数据架构

大数据架构流程图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
摘下满天星·2020-12-12 20:45

大数据架构流程图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
摘下满天星·2020-12-12 19:54

一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比

我们先回顾一下数据仓库的发展历程：传送门-数据仓库发展历程写在前面咳，随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构>离线大数据架构
明月十四桥·2020-12-07 02:44

python爬虫的用途_Python爬虫的作用与地位（附python3教程+爬虫技术路线图）

在大数据架构中，数据收集与数据存储占据了极为重要的地位，可以说是大数据的核心基础。而爬虫技术在这两大核心技术层次中占有了很大的比例。为何有此一说？我们不妨通过一个实际应
weixin_39552179·2020-11-25 06:38

大数据架构师必读：常见的七种Hadoop和Spark项目案例

如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常
大数据首席数据师·2020-10-11 08:32

数据湖架构，为什么需要“湖加速”？

基于这一范式，大数据架构师需要考虑三件事情：第一，选
阿里云云栖号·2020-10-09 13:34

阿里云搭建Hadoop集群

从下图中可以对整个大数据架构有了大体的了解。Hadoop主要有HDFS（分布式
大数据超哥·2020-10-09 13:46

为什么写《大数据架构详解》这本书

花了差不多一年半时间，牺牲了每个周末，费了九牛二虎之力，终于完成个人人生的第一本书《大数据架构详解：从数据获取到深度学习》。整个过程其实挺痛苦的，时常想放弃，幸好坚持下来了。
jiezhu2007·2020-09-17 04:41

未来商业智能是个大方向，有哪些职业路线可供选择？

现在企业应用大数据和商业智能有这么几种情况：大型互联网企业采用hadoop一类的大数据架构——数据仓库——自己研发的报表、OLAP分析等。或者前端选用成熟的商业智能报表和BI分析软件。
人工智能和大数据时代·2020-09-17 04:23

【大数据架构】大数据数据仓库与数据中台架构

名词解释数据仓库（DataWarehouse，DW）数据分层：ods层：存储原始数据dwd层：清洗数据，去除空值、脏数据，超过极限范围的数据，数据脱敏，得到干净的数据dws层：轻度汇总，形成数据宽表（有数据冗余，但查询性能得到了提高，查询更方便，而join的结果容易产生数据倾斜）ads层：最终结果flume配置文件有三个重要组件：source：数据源ExecSource：实时搜集一个文件中新增的数
魏晓蕾·2020-09-17 03:37

数据湖架构，为什么需要“湖加速”？

基于这一范式，大数据架构师需要考虑三件事情：第一，选
阿里云开发者·2020-09-16 08:15

视频教程-CDH5.16.1全网最细的企业级离线部署-大数据

CDH5.16.1全网最细的企业级离线部署大数据架构师，负责海量日志数据处理等方面的技术研究与管理工作。
学院导师-余思隽·2020-09-16 06:35

大数据领域专家力作，专注大数据

大数据丛书大数据日知录：架构与算法（大数据领域专家力作，专注大数据架构和算法，全面梳理大数据相关技术）张俊林著ISBN978-7-121-24153-62014年9月出版定价：69.00元404页16开编辑推荐这是一本心血之作
iteye_15786·2020-09-15 05:54

大数据架构师之路如何养成？

根据各招聘网站权威数据显示，资深大数据架构师平均年薪达到60-80万，经验丰富者甚至可以突破100万。随着国家政府重视大数据，大数据在企业中遍地开花。
58沈剑·2020-09-14 23:15

hive整体架构优化解决策略

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！hive可以从几个方面进行优化，从系统角度看：整体架构、MR阶段、JOB以及平台都可以进行优化。
大数据爱好者社区·2020-09-14 23:07

大数据架构流程

数据处理分为三大类：第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。第二类是从技术的角度，细分为Batch、SQL、流式处理、machinelearning、Deeplearning。第三类是编程模型，细分为离线编程模型、内存编程模型、实时编程模型。结合前文讲述的数据源特点、分类、采集方式、存储选型、数据分析、数据处理，我在这里给出一个总体的
yypiao·2020-09-14 12:11

Spark是否能替代Hive

在实际生产环境中已经形成了离线以Hive为主，Spark为辅,实时处理用Flink的大数据架构体系及Impala,Es，Kylin等应用查询引擎但是有很多学习Spark的程序员普遍认为Spark必然会替代
ysjh0014·2020-09-13 20:27

大数据架构及行业大数据应用

今天要和大家分享一些南大通用CTO武新所总结的底层数据处理技术的发展趋势和正在经历的巨大变革。这个领域过去5年发展很快、热度很高，目前还在起步阶段。1.数据价值的发现与使用先不说什么是大数据，这个争议很多，我也说不清楚。不过我个人认为在大数据的4个V中，最显著的特征应该是Value（价值），其他几个V都很模糊。也就是说，不管数据多大，是什么结构，来源如何，能给使用者带来价值的数据是最重要的数据
mousever·2020-09-13 07:39

Flink 完美搭档：数据存储层上的 Pravega

作者|滕昱DellEMC研发总监整理|赵海凯DellEMC实习生本文将从大数据架构变迁历史，Pravega简介，Pravega进阶特性以及车联网使用场景这四个方面介绍Pravega，重点介绍DellEMC
Applied Sciences·2020-09-12 22:05

airflow部署和使用示例

主讲内容：docker/kubernetes云原生技术，大数据架构，分布式微服务，自动化测试、运维。
数据架构师·2020-09-12 13:32

阿里大数据架构师教你ZooKeeper安装配置！看了的都转发和关注了！

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集，
首席数据师·2020-09-12 12:50

字节跳动在Spark SQL上的核心优化实践

字节跳动在SparkSQL上的核心优化实践大数据架构今天以下文章来源于字节跳动技术团队，作者郭俊字节跳动技术团队字节跳动的技术实践分享10月26日，字节跳动技术沙龙|大数据架构专场在上海字节跳动总部圆满结束
Hero.Lin·2020-09-11 17:10

刘博宇：Druid在滴滴应用实践及平台化建设

讲师简介：刘博宇，滴滴出行高级软件开发工程师，就职于滴滴基础平台大数据架构部。负责Druid集群维护与研发工作。
coqonmdrr954803650·2020-09-11 14:52

一篇了解大数据架构及Hadoop生态圈

阅读建议，有一定基础的阅读顺序为1,2,3,4节，没有基础的阅读顺序为2,3,4,1节。第一节集群规划大数据集群规划（以CDH集群为例），参考链接：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_host_allocations.htmlhttps://blog.csdn.net/xuefenxi/arti
小神龙q·2020-09-11 09:51

圣诞的礼物赠100G干货，Java入门精通视频，Python初级进阶资料，还有大数据架构师！

干货在下面，请花费1分钟时间看看图片发自App做一个实力派，不走弯路，便是捷径免费赠《Java入门到精通,Python初级进阶视频教程》图片发自App第一python很有前途，但你是实力派吗？实力决定一切图片发自App不要问小编python有没有前途，因为在python这个行业里，工资年薪几十万几百万的多的是，是一个根本不需要考虑前途就很有前途的行业，但是你有和前途配套的实力吗？而前途只属于有实力
Java工程诗·2020-08-24 16:35

大数据架构简述（二）：数据获取

1.数据分类按数据形态，我们把数据分为结构化数据和非结构化数据两种。结构化数据如传统的DataWarehouse数据，字段有固定的长度和语义，计算机程序可以直接处理非结构化数据有文本数据、图像数据、自然语言数据等，计算机程序无法直接进行处理，需要进行格式转换或信息提取。2.数据获取组件常见的信息获取组件包括电信特有的探针技术，为获取网页数据常用的爬虫，采集日志数据的组件Flume，以及用于消息转发
郭大侠写leetcode·2020-08-24 12:23

快速开发框架推荐使用 jeecg-boot

但随着技术不断进步，各种微服务，分布式突飞猛进，尤其在大数据架构和大并发进来，发现之前架构和写代码的地方有很多不足之处。于是去网上研究各大家的开源框架，对比之下，推荐使用jeecg
徐小笑·2020-08-23 11:21

大数据可以从事哪些职位，大数据就业方向有哪些？

大数据领域分为二个方向：一是大数据维护、研发、架构工程师方向；所涉及的职业岗位为：大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等；二是大数据挖掘、分析方向；所
大数据在说话·2020-08-23 03:34

Kafka解耦原理浅析

一、高度耦合大数据架构1.每一个数据源都会有四个不同流向2.每一个数据接收者都可能有四个不同来源3.系统高度耦合，系统复杂度4*4=164.不利于程序开发、维护、升级二、Kafka解耦之后架构1.所有source
海若[MATRIX]·2020-08-23 02:18

[云框架]SMACK大数据架构

Github地址：https://github.com/cloudframe...SMACK是一种数据处理的技术组合，S代表Spark（引擎）、M代表Mesos（容器）、A代表Akka（模型）、C代表Cassandra（存储）、K代表Kafka（消息队列）。面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战，SMACK可以解决Hadoop等熟知技术无法
weixin_33843409·2020-08-22 14:23

如何建设高吞吐量的日志平台



7月24日晚上8点，七牛云高级大数据架构师王珂在飞马网进行了题为《如何快速搭建智能化的统一日志管理系统》的音频直播，和大家探讨了日志平台建设中需要考虑的要点，并分享了七牛云在提高日志平台吞吐量上的实践经验
七牛云·2020-08-22 10:36

如何实现多维智能监控？--AI运维的实践探索【一】

SNG的哈勃多维监控平台在完成大数据架构改造后，尝试引入AI能力，多维根因分析是其中一试点，用于摸索AI的应用经验。本分分享探索过程和经验，希望可给后续AI应用提供参考。
腾讯织云·2020-08-22 10:56

大数据架构和模式（五）对大数据问题应用解决方案模式并选择实现它的产品

简介本系列的第3部分描述了针对最常见的、经常发生的大数据问题及其解决方案的原子模式和复合模式。本文将推荐可以用于架构大数据解决方案的三个解决方案模式。每个解决方案模式都使用了一个复合模式，该模式由逻辑组件构成（参见第3部分的介绍）。在本文末尾处，列出了产品和工具清单，它们可映射到每一个解决方案模式的组件。解决方案模式以下各节将介绍可以用于架构大数据解决方案的三个解决方案模式。为了说明这些模式，我们
DeveloperWorks·2020-08-22 01:27

大数据架构和模式（四）了解用于大数据解决方案的原子模式和复合模式

简介本系列的第3部分介绍了大数据解决方案的逻辑层。这些层定义了各种组件，并对它们进行分类，这些组件必须处理某个给定业务用例的功能性和非功能性需求。本文基于层和组件的概念，介绍了解决方案中所用的典型原子模式和复合模式。通过将所提出的解决方案映射到此处提供的模式，让用户了解需要如何设计组件，以及从功能角度考虑，应该将它们放置在何处。模式有助于定义大数据解决方案的架构。利用原子模式和复合模式可以帮助进一
DeveloperWorks·2020-08-22 01:26

大数据架构和模式（三）理解大数据解决方案的架构层

概述这个“大数据架构和模式”系列的第2部分介绍了一种评估大数据解决方案可行性的基于维度的方法。
DeveloperWorks·2020-08-22 01:55

大数据架构和模式（二）如何知道一个大数据解决方案是否适合您的组织

简介在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查。答案将揭示该数据和您尝试解决的问题的更多特征。尽管组织一般情况对需要分析的数据类型有一些模糊的理解，但具体的细节很可能并不清晰。毕竟，数据可能具有之前未发现的模式的关键，一旦识别了一种模式，对额外分
DeveloperWorks·2020-08-22 01:54

大数据架构和模式（一）大数据分类和架构简介

相关文章：大数据架构和模式（二）——如何知道一个大数据解决方案是否适合您的组织大数据架构和模式（三）——理解大数据解决方案的架构层大数据架构和模式（四）——了解用于大数据解决方案的原子模式和复合模式大数据架构和模式
DeveloperWorks·2020-08-22 01:54

Apache Hadoop 3.0.0（一、安装）

如果对大数据架构不清请的初学者可以参考网上一些公开课，了解要掌握哪些知识就好了，还是得在实际中应用多动手，言归正传。
spaceandroid·2020-08-21 16:09

从 Exadata 到 TiDB，中通快递 HTAP 实践

作者介绍：朱志友，中通快递大数据架构师。中通快递背景介绍中通快递业务的规模目前是世界第一，是第一个达成年百亿业务量的快递企业，在2019年的双十一更是完成了订单量超过2亿的佳绩。
PingCAP·2020-08-21 03:56

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapRe
阿里云云栖号·2020-08-20 22:19

通用大数据架构为什么不适合处理物联网数据？

为处理日益增长的互联网数据，众多的工具开始出现，最流行的应该是Hadoop体系。除使用大家所熟悉的Hadoop组件如HDFS，MapReduce,HBase,Hive外，通用的大数据处理平台往往还使用Kafka或其他消息队列工具，Redis或其他缓存软件，Flink或其他实时流式数据处理软件。存储上也有人选用MongoDB，Cassandra或其他NoSQL数据库。这样一个典型的大数据处理平台基本
涛思数据·2020-08-20 21:20

斗象科技NTA全流量大数据架构 VS 传统单机设备，底层差别到底在哪？

如今实战攻防对抗的形势下，基于全流量的安全分析技术扮演着越来越重要的角色。尽管NTA技术已在市场中得到广泛认同，但用户在对NTA与全流量技术的理解上依然存在差异。Gartner提出并定义网络流量分析（NetworkTrafficAnalysis,NTA）技术成为流量分析领域的新宠，它被认为是五种检测高级威胁的重要手段之一。Gartner对NTA定义：以网络流量为基础，应用人工智能、大数据处理等先进
斗象科技·2020-08-20 21:04

ELK和beats

由于扩展成分布式，容量和性能得到极大的提升，使得Elasticsearch得以成为目前许多大数据产品和大数据架构的核心组件。Logstash:一个灵活的数据传输和处理系统，在beats出来
P_Chou水冗·2020-08-20 20:44

ELK和beats

由于扩展成分布式，容量和性能得到极大的提升，使得Elasticsearch得以成为目前许多大数据产品和大数据架构的核心组件。Logstash:一个灵活的数据传输和处理系统，在beats出来
P_Chou水冗·2020-08-20 20:44

[译] 解密 Uber 数据团队的基础数据架构优化之路

但是，在这简单的流程背后其实是用Hadoop和Spark这样复杂的基础大数据架构来支撑的。Uber在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。
HarryZhu·2020-08-20 20:59

[译] 解密 Uber 数据团队的基础数据架构优化之路

但是，在这简单的流程背后其实是用Hadoop和Spark这样复杂的基础大数据架构来支撑的。Uber在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。
HarryZhu·2020-08-20 20:59

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapRe
阿里云云栖号·2020-08-20 16:07

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapRe
阿里云云栖号·2020-08-20 16:07

通用大数据架构为什么不适合处理物联网数据？

为处理日益增长的互联网数据，众多的工具开始出现，最流行的应该是Hadoop体系。除使用大家所熟悉的Hadoop组件如HDFS，MapReduce,HBase,Hive外，通用的大数据处理平台往往还使用Kafka或其他消息队列工具，Redis或其他缓存软件，Flink或其他实时流式数据处理软件。存储上也有人选用MongoDB，Cassandra或其他NoSQL数据库。这样一个典型的大数据处理平台基本
涛思数据·2020-08-20 16:29

通用大数据架构为什么不适合处理物联网数据？

为处理日益增长的互联网数据，众多的工具开始出现，最流行的应该是Hadoop体系。除使用大家所熟悉的Hadoop组件如HDFS，MapReduce,HBase,Hive外，通用的大数据处理平台往往还使用Kafka或其他消息队列工具，Redis或其他缓存软件，Flink或其他实时流式数据处理软件。存储上也有人选用MongoDB，Cassandra或其他NoSQL数据库。这样一个典型的大数据处理平台基本
涛思数据·2020-08-20 16:29
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他