大数据架构

大数据架构（一）背景和概念

一、背景1.岗位现状大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。如果做到架构师，50K跑不掉。现在市场回归理性后：普通岗：大数据/数仓开发，实际上除超一线城市之外，尚存很多大型企业转型期信息化、互联网（物联网IOT）还在发展，数据还在爆发式增长，仍大有可为。精英岗/管理岗：大数
野生的狒狒·2023-12-18 02:50

大数据架构（二）大数据发展史

1.背景随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，传统数仓经历了以下发展过程：传统数仓架构->离线大数据架构->Lambda架构->Kappa架构->新一代实时数仓
野生的狒狒·2023-12-18 02:50

6.大数据架构详解：从数据获取到深度学习 --- 交互式分析

6.1交互式分析的概念在数仓领域有个概念"即席查询"(AdhocQuery)，指的是用户在使用系统时，根据自己当时的需求定义查询。在大数据领域，扩展到InteractiveQuery(交互式查询)是最常见的一种，通常用于客户投诉处理，实时数据分析，在线查询等。具有如下特点：1.时延低(在数十秒在数分钟之间)2.查询条件复杂(多个维度)3.查询范围大(通常查询表记录在几十亿级别)4.返回结果小(几十
enlyhua·2023-12-16 02:42

软考架构案例之大数据架构

文章目录前言大数据架构特点Lambda架构Kappa架构Lambda架构与Kappa架构对比写在最后前言前不久参加了11月份的软考系统架构师，下午案例中还是有很多的架构相关的知识点，比如大数据架构和动静分离架构图等等
小沈同学呀·2023-12-15 21:38

大数据技术1：大数据架构设计理论

1、传统数据处理系统存在的问题随着信息时代互联网技术爆炸式的发展，人们对于网络的依赖程度日渐加深，在业务中需要处理的数据量快速增加，逐渐飙升到了一个惊人的数量级。并且数据产生的速度随着采集与处理技术的更新仍在加快。数据量从兆字节(MB)、吉字节(GB)的级别到现在的太字节(TB)、柏字节(PB)级别，数据量的变化促使数据管理系统(DBMS)和数据仓库(DataWarehouse,DW)系统也在悄然
Java架构何哥·2023-12-06 03:16

一个大数据架构师应该掌握的技能

硬能力一：平台建设1.行业平台1）大平台谷歌云亚马逊云阿里云腾讯云网易云华为云2）小平台国云国双青云勤思3）专业工具平台海致BDP永洪易观4）APP分析平台mixpanelgrowingIO神策诸葛IO2.技术选型1）CDH2）HDP+HDF3）MAPR4）Transwarp3.平台架构1）HDPCore(平台核心也是Hadoopcore)HDFS(存储)MapReduce(批处理)Yarn(基础
潘永青·2023-12-05 02:13

玩转大数据5:构建可扩展的大数据架构

大数据架构作为大数据应用的核心组成部分，对于企业的数字化转型和信息化建设至关重要。
沛沛老爹·2023-12-05 02:07

大数据架构师从入门到精通 学习必看宝典

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是
yoku酱·2023-12-03 04:40

流批一体历史背景及基础介绍

目录一、历史背景1.BI系统2.传统大数据架构3.流式架构4.Lambda架构5.Kappa架构二、流批一体与数据架构的关系数据分析型应用数据管道型应用三、流与批的桥梁Dataflow模型四、Dataflow
jialun0116·2023-12-02 00:47

零基础学习大数据的方向和路线

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个
weixin_44386638·2023-11-30 18:50

大数据项目实践过程笔记

开发工具intelijidea2.19.3目前围绕Hadoop体系的大数据架构包括：传统大数据架构数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题
提莫_·2023-11-30 15:54

SQL on Hadoop在快手大数据平台的实践与优化 | 分享实录

快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。
weixin_34292959·2023-11-25 19:46

【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio

本文参考链接置顶：Presto使用Docker独立运行HiveStandaloneMetastore管理MinIO（S3）_hiveminio_BigDataToAI的博客-CSDN博客一.背景团队要升级大数据架构
秦拿希·2023-11-24 11:35

软考-系统架构设计师-大数据架构设计理论与实践-练习题2

练习题2.Lambda架构分为三层：（1）的核心功能是存储主数据集。（2）的核心功能是处理增量实时数据，生成实时视图，快速执行即席查询。（3）的核心功能是响应用户请求，合并批视图和实时视图中的结果数据集得到最终数据集。（1）A．批处理层B.流处理层C.加速层D.存储层（2）A．批处理层B.服务层C.加速层D.视图层（3）A．视图层B.流处理层C.服务层D.存储层答案ACC关键词-概念Lambda架
shumeizwb·2023-11-23 06:04

软考-系统架构设计师-大数据架构设计理论与实践-练习题3

练习题3.某互联网公司近期为其旗下产品升级架构，架构图如图22.10所示，请指出该架构图采用的是什么架构，并结合架构图说明该架构的层次结构。图22.10解析根据题目给出的架构图可发现，该产品通过Collector收集结构化数据推送给主Kafka。主Kafka再将数据写入HDFS分布式文件系统，而异构数据通过DataX/Sqoop写入HDFS。HDFS中的数据会通过Offline采用Hive、Map
shumeizwb·2023-11-23 06:04

边云协同架构设计

边云协同"的优势其它相关推荐：系统架构之微服务架构系统架构设计之微内核架构鸿蒙操作系统架构架构设计之大数据架构（Lambda架构、Kappa架构）系统架构设计之云原生架构所属专栏：系统架构设计师一."
Elaine猿·2023-11-23 05:55

万字详解大数据架构新概念

▲点击上方“老于的笔记”关注公众号回复1，免费获取B端运营地图正文来了随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？本文作者
于连林_·2023-11-21 22:53

「后红海」时代的大数据体系和技术趋势

这片文章从系统架构的角度，就大数据架构热点，每条技术线的发展脉络，以及技术趋势和未解问题等方面做了概述。特别的，大数据领域仍然处于发展期，部分技术收敛，但新方向和新领域层出不穷。
王知无(import_bigdata)·2023-11-20 18:01

数据采集与大数据架构分享

实现场景要实现亿级数据的长期收集更新，并对采集后的数据进行整理和加工，用于人工智能的训练数据素材集。数据采集java支持的爬虫框架还是有很多的，如：webMagic、Spider、Jsoup等添加链接描述pipeline处理管道数据并发开发与应用AKKAAkka是一个构建在JVM上，基于Actor模型的的并发框架，为构建伸缩性强，有弹性的响应式并发应用提高更好的平台。Actor模型Actor的基础
学习3人组·2023-11-20 07:49

大数据架构

大数据架构https://huaweicloud.csdn.net/633578fed3efff3090b58398.htmlhttps://blog.csdn.net/yuanziok/article
学习3人组·2023-11-20 07:17

大数据和智能数据应用架构系列教程之：大数据架构设计与部署

近年来，随着大数据技术的飞速发展，越来越多的企业采用大数据技术来进行相关的研究、开发和运营，这也促使各个公司纷纷布局大数据架构领域。
禅与计算机程序设计艺术·2023-11-19 19:28

软考-高级-系统架构设计师教程（清华第2版）【第19章 大数据架构设计理论与实践 （P691~716）-思维导图】

软考-高级-系统架构设计师教程（清华第2版）【第19章大数据架构设计理论与实践（P691~716）-思维导图】课本里章节里所有蓝色字体的思维导图
爱的叹息·2023-11-19 16:45

天津市专业大数据培训班，大数据就业岗位的多样性

大数据就业岗位多样大数据培训所涉及的就业岗位有数据工程师、数据仓库工程师、数据分析师、大数据架构师、等。
qq_38453958·2023-11-16 15:24

干货 | 携程国际业务动态实时标签处理平台实践

Weiyi，携程资深数据开发，关注大数据相关技术，对大数据实时计算、流批一体等方面有浓厚兴趣；Hzhou，携程资深数据开发，关注大数据相关技术，对系统架构和实时处理等方面有浓厚兴趣；Rongjun，携程大数据架构开发
携程技术·2023-11-10 18:47

什么是大数据架构

大数据架构是用于摄取和处理大量数据（通常称为“大数据”）的总体系统，以便可以出于业务目的对其进行分析。该架构可以被视为基于组织业务需求的大数据解决方案的蓝图。
wouderw·2023-11-09 07:57

2023年下半年架构案例真题及答案

案例的考点：大数据架构Lambda架构和Kappa架构jwt特点数据持久层，Redis数据丢失，数据库读写分离方案Hibernat架构SysML七个关系，填需求图大数据的必选题：某网作为某电视台在互联网上的大型门户入口
数字化信息化智能化解决方案·2023-11-09 07:14

Lambda 架构 vs Kappa 架构

大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓https://www.cnblogs.com/robots2/p/17769376.html大数据架构设计
flying jiang·2023-11-07 12:58

大数据平台架构--学习日记（一）

具体见下图示例，这张图是比较经典的，也是妥协的结果，跟当前网上很多的大数据架构图都可以作一定
slipper520·2023-11-06 21:37

天津重点大数据培训 大数据培训的三个重要内容

大数据的行业前景大数据培训所涉及的就业岗位有数据工程师、数据仓库工程师、数据分析师、大数据架构师、机器学习算法工程师等。除这些外，大数据领域中还涉及到其他职位，
qq_38453958·2023-11-03 23:57

生产环境评估机器

学习了kafka的原理知识后，还要学会如何评估生产环境集群，如果是一个大数据架构师，这个是必须要会的，比如kafka集群、Hbase集群、hadoop集群，评估集群的方式差不多，现在以kafka为例。
yx️·2023-11-03 05:32

架构设计之大数据架构（Lambda架构、Kappa架构）

大数据架构一.大数据技术生态二.大数据分层架构三.Lambda架构3.1Lambda架构分解为三层3.2优缺点3.3实际案例四.Kappa架构4.1结构图4.2优缺点4.3实际案例五.Lambda架构与
Elaine猿·2023-11-03 02:30

NoSQL数据库使用场景以及架构介绍

二.NoSQL分类三.NoSQL与关系数据库有什么区别四.NoSQL主要优势和缺点五.NoSQL体系框架其它相关推荐：系统架构之微服务架构系统架构设计之微内核架构鸿蒙操作系统架构架构设计之大数据架构（Lambda
Elaine猿·2023-11-03 02:26

Kafka - 监控工具 Kafka Eagle：实时洞察Kafka集群的利器

文章目录引言KafkaEagle简介KafkaEagle的特点KafkaEagle的优势使用KafkaEagle的步骤结论引言在现代大数据架构中，ApacheKafka已成为一个不可或缺的组件，用于可靠地处理和传输大规模的数据流
小小工匠·2023-11-01 12:21

系统架构设计师-第19章-大数据架构设计理论与实践-软考学习笔记

传统数据处理系统存在的问题传统数据处理系统存在以下问题：1.数据孤岛问题：不同部门或系统之间的数据隔离，数据无法共享和整合。2.数据不一致性问题：由于数据维护分散，同一数据在不同系统或部门中可能存在不同的版本，造成数据不一致。3.数据冗余问题：同一数据在不同系统或部门中存在多份副本，造成资源浪费和数据安全隐患。4.数据安全问题：传统数据处理系统中的数据安全保护措施相对较弱，容易受到恶意攻击或数据泄
小果运维·2023-10-30 09:50

大数据架构设计理论与实践

大数据架构设计理论与实践大数据处理系统概述传统数据处理系统存在的问题大数据处理系统面临的挑战大数据处理系统的属性/特征典型的大数据架构Lambda架构Lambda定义优缺点应用场景Lambda的体系结构
骚戴·2023-10-29 16:20

全网最详细的大数据架构搭建配置及说明文档

版本兼容JDK1.8.0_211ZooKeeper3.4.14Hadoop3.2.1Hive3.1.2HBase2.2.1Scala2.13.1Spark2.4.4MySQL5.7.28基本配置修改ip和主机名主机名IP地址JavaZookeeperHadoopHiveHBaseSparkMySQLhadoop192.168.137.201√√√√√√slave1192.168.137.202√√
骇客567·2023-10-29 10:52

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

转载至:http://www.aboutyun.com/thread-6855-1-1.html个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章
向往的生活Life·2023-10-26 15:06

25款大数据入门与实战电子书+视频教程（全程干货）

本资源由菜鸟窝大数据教研团队整理的，共有1.3GB学习资源（电子书）含Hadoop大数据与挖掘实战、Hbase实战、Spark大数据处理技术、Spark高级数据分析、大数据存储MongoDB实战、大数据架构师指南
菜鸟窝·2023-10-26 07:50

一张Lambda大数据架构架构图

该系统的大数据架构是基于Lambda架构搭建的大数据平台处理大规模视频网络观看数据。
huaqianzkh·2023-10-25 16:50

【数据仓库-零】数据仓库知识体系 ing

了解到构建数仓的每一步对应使用哪些技术；总之学习数仓为我们提供了构建、管理和优化大数据架构的关键技能和知识。接下来我们了解下数据仓库都有哪些知识点需要我们进行学习：一.数仓基本概念数据仓
roman_日积跬步-终至千里·2023-10-24 16:41

作为程序员，为什么你应该学好数学？

我博士毕业于上海交通大学计算机科学与工程专业，在接下来十余年时间里，我曾经在微软亚洲研究院、IBM研究院、eBay中国研发中心做机器学习方向的研究工作，也负责过大润发飞牛网和1号店这两家互联网公司的核心搜索和推荐项目，还写过一本书《大数据架构商业之路
十年开发程序员·2023-10-22 19:03

架构案例分析重点

（可能考点）表现层框架设计中间层架构设计数据访问层数据访问层工厂模式的设计（一个考点）物联网三层云原生架构面向服务架构(SOA)SOA设计模式嵌入式系统架构鸿蒙操作系统（可能考点）通信系统架构安全架构大数据架构
计算机CV民工·2023-10-22 13:18

数字化转型是新瓶装旧酒吗？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，我是你的老彭友。周四受51CTO邀请，给大家做了一个数字化转型的线上分享。
大数据架构师Evan·2023-10-20 05:08

大数据数仓搭建-大数据用户画像推荐系统搭建

一确定需求我把需求主要分为三大类一离线数据报表需求二实时观查数据走向需求三算法需求二确定系统架构根据需求我们目前有几种大数据架构可以供参考流式架构流式架构非常激进，直接拔掉了批处理，数据全程以流的形式处理
老姜的数据江湖·2023-10-18 21:10

大数据架构和模式，第 2 部分

如何知道一个大数据解决方案是否适合您的组织简介在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查。答案将揭示该数据和您尝试解决的问题的更多特征。尽管组织一般情况对需要分析的数据类型有一些模糊的理解，但具体的细节很可能并不清晰。毕竟，数据可能具有之前未发现
断水流大湿兄·2023-10-18 13:54

软考高级架构师下篇-18

目录1.引言2.传统数据处理系统的问题1.传统数据库的数据过载问题2.大数据的特点3.大数据利用过程4.大数据处理系统架构分析3.典型的大数据架构1.Lambda架构2.Kappa架构3.Lambda架构与
拒绝冗余·2023-10-10 21:49

大数据架构设计（四十五）

大数据架构有Lambda架构和Kappa架构。大数据可以解决的问题?处理非结构化和半结构化数据。大数据复杂性、不确定性特征描述和刻画方法以及大数据系统建模。数据易构性与决策易购性的关系。
后端从入门到精通·2023-10-06 10:20

数据仓库架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文将介绍数据仓库架构师的岗位工作职责及应具备的能力。
皮皮杂谈·2023-10-02 01:14

系统架构设计师-大数据

目录一、大数据1、大数据架构2、大数据技术生态3、Lambda架构4、Kappa架构5、Lambda架构与Kappa架构对比一、大数据1、大数据架构大数据是指其大小或复杂性无法通过现有常用的软件工具，以合理的成本并在可接受的时限内对其进行捕获
张瑞东·2023-09-28 08:57

大数据架构师——音乐数据中心平台离线数仓综合项目（三）

文章目录音乐数据中心平台离线数仓综合项目第二个业务：机器详细信息统计需求模型设计数据处理流程1.将数据导入MySQL业务库2.使用Sqoop工具抽取数据到HiveODS层3.使用SparkSQL对ODS层数据进行ETL清洗使用Azkaban配置任务流1.脚本准备2.编写Azkaban各个Job组成任务流3.清空数据4.提交Azkaban作业使用Superset数据可视化第三个业务：日活跃用户统计需
讲文明的喜羊羊拒绝pua·2023-09-27 23:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他