大数据架构

大数据分析入门知识

还是得根据自己的职业规划来，毕竟成为大数据架构师，需要很长很长的一段时间。需要涉及到的东西有很多，有些答主随便写了一点所谓的“路线”和“心得”，就想来求赞？
奔跑的苏立·2023-03-19 14:32

浅谈Hadoop

目前业界内最流行的大数据架构体系就是hadoop的生态系统。
夜丨雨·2023-03-18 21:10

如何搭建一个PB级大数据中台？我之前是这么搞的！

当今企业对数据的重视度越来越高，在大数据系统架构设计层面，大数据架构师需要完成技术决策、技术选型，还需要根据不同时期的业务场景，不断优化和演进软件架构，最终攻克技术难点、化解技术风险，创造符合企业长期发展的大数据架构
军哥手记·2023-03-18 07:32

大数据架构进阶目录

从事了多年的大数据开发，不甘心一直做小罗罗，希望在更上一层。在此立下复习目录，分享多年的大数据开发和数仓经验，实现目标，共勉Flink开发(1.架构2.实时开发(项目案例代码)3.优化技巧4.面试常问原理)Spark开发(1.架构2.实时开发(项目案例代码)3.优化技巧4.面试常问原理)阿里云相关服务讲解(1.Dataworks2.阿里Blink或则Flink3.QuickBi&tableau..
风轻云淡lq·2023-03-17 10:13

【读书笔记】《大数据技术体系详解：原理、架构与实践》01～02.概述和数据收集

企业级大数据技术体系概述大数据架构的6层大数据从数据源开始，经过分析、挖掘到最终获得价值一般需要经过6个主要环节：包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据可视化大数据架构的6
粥一样温柔·2023-03-16 16:05

年薪60万大数据架构师教你Hadoop如何安装！还不快来看！

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来
大数据学习05·2023-03-15 20:10

大数据架构师该做到的

大数据架构师该做到的https://www.processon.com/view/5c3e0543e4b0db2e59364112?
飄落·2023-03-15 14:46

大数据架构

移动计算比移动数据更划算HDFS--离线数据数据库同步经常用Sqoop，日志同步用Flume，打点采集的数据经过格式化转换后通过Kafka等消息队列进行传递。MapReduce
我的丁一之旅·2023-03-12 01:26

动环监控系统大数据架构设计

传统的动环监控系统体系架构包含三个组成部分：监控对象(SO)、现场监控单元(FSU)、集中监控中心(SC)，体系结构如下图所示：传统动环监控系统架构以上架构设计适合小规模的应用场景，难以解决大规模采集数据场景下的动环监控业务应用，本文提出一种集群大数据平台技术架构，以满足动环监控系统对大规模测点实时性采集和处理、大数据高效存储和查询、分布式容错处理等要求，同时为第三方SC、SC、大数据分析、其它应
皮皮杂谈·2023-02-06 15:22

数仓架构的演变

此时仅仅是工具的取代，架构上并没有根本的区别，可以把这个架构叫做离线大数据架构。
斯文遮阳·2023-02-05 14:44

常用的几种大数据架构剖析

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：可以看到在BI系统里
不羁风马·2023-02-02 14:57

大数据架构师从入门到精通 学习必看宝典

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是
yoku酱·2023-01-30 16:09

大数据架构系列：如何理解湖仓一体？

导语|本文推选自腾讯云开发者社区-【技思广益·腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯后台开发工程师叶强盛。引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前44
腾讯云开发者·2023-01-30 07:58

Spring中眼花缭乱的BeanDefinition

本篇博客主要参考：Spring官网阅读（四）BeanDefinition（上）碎碎念在某课网看到很多培训课程，有Java架构师、大前端架构师、大数据架构师等等，销量都不错，但是数据结构与算法、计算机基础这两门课程的销量少的可怜
CoderBear·2023-01-28 03:16

银行大数据的演变趋势是什么？

首届KylinDataSummit特别邀请了建信金融科技的架构团队技术总监朱志，为大家分享银行大数据架构的演变过程、未来展望和深度思考。
Kyligence·2023-01-26 08:26

深入理解大数据架构之——Lambda架构

传统系统的问题“我们正在从IT时代走向DT时代(数据时代)。IT和DT之间，不仅仅是技术的变革，更是思想意识的变革，IT主要是为自我服务，用来更好地自我控制和管理，DT则是激活生产力，让别人活得比你好”——阿里巴巴董事局主席马云。数据量从M的级别到G的级别到现在T的级、P的级别。数据量的变化数据管理系统（DBMS）和数仓系统（DW）也在悄然的变化着。传统应用的数据系统架构设计时，应用直接访问数据库
LBJ_小松鼠·2023-01-17 15:02

主题域、概念、逻辑、物理四种模型有什么区别与联系？

以下文章来源于大数据架构师，作者彭文华傅一平荐语：概念是理解知识的关键，虽然你可能每天都听到主题域、概念、逻辑、物理模型这种数据仓库的名词，虽然你可能也实践过了，但不代表理解了这些概念的本质，理解本质的一个好处就是发现第一性原理
hanxiaolaa·2023-01-13 09:23

数据平台建设指南(上)

先来看下整体的大数据架构图：数据采集篇  我们的数据来源主要有三部分：业务数据库，
woloqun·2023-01-12 10:19

武汉理工大学 大数据架构与模式期末复习

武汉理工大学大数据架构与模式期末复习在发现学长学姐们上一届是大作业结课而我们是考试结课之后整理复习的结果，可能不会很全，感觉最后老师稍微划知识点的时候没有为难我们()，总之大体是这么些考试内容，也不知道后面几届会不会改内容
安_荼生·2023-01-08 10:46

实时数仓之 Kappa 架构与 Lambda 架构

今天，我们先了解一下数据仓库架构的演变过程，本文主要从五个方面进行介绍数据仓库概念离线大数据架构Lambda架构Kappa架构Lambda架构与Kappa架构的对比1数据仓库概念数据仓库是一个面向主题的
智慧化智能化数字化方案·2023-01-06 01:22

分享思路：Python+Spark招聘爬虫可视化系统 招聘数据分析 Hadoop职位可视化 大数据毕业设计 51job数据分析(可选加推荐算法)

开发技术Hadoop、HDFS、Spark、SpringBoot、echarts、PySpark、Python、MySQL创新点大数据架构、爬虫、数据可视化啰里啰嗦适合大数据毕业设计、数据分析、爬虫类计算机毕业设计可二次开发选加推荐算法
haochengxu2022·2022-12-27 10:01

酷开科技 × StarRocks：统一 OLAP 分析引擎，全面打造数字化的 OTT 模式

作者：周桂民，大数据架构师和负责人，主要负责大数据平台基础建设工作酷开科技，全称深圳市酷开网络科技股份有限公司，成立于2006年，自主研发了智能电视操作系统——酷开系统。
StarRocks_labs·2022-12-23 08:35

推荐系统（Recommender System）笔记 04：推荐系统工程实现

推荐系统（RecommenderSystem）04：推荐系统工程实现推荐系统的数据流批处理大数据架构（BatchProcessing）流计算大数据架构(StreamingProcessing)Lambda
MYJace·2022-12-22 14:50

InfoQ《大咖说》：大数据平台如何进行云原生改造 | 内附视频回放

策划|褚杏娟来源|InfoQInfoQ《大咖说》本期嘉宾：智领云联合创始人兼CEO彭锋博士，拥有20余年软件开发，大数据及云计算经验，曾任Twitter大数据架构师及技术带头人、ask.com工程总监。
LinkTime_Cloud·2022-12-16 16:32

【数据治理】浅谈数据治理

随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构，面向大数据架构下，为数据资源中心与外部数据系统提供数据服务。那么，数据治理到底治什么？
菜鸟蜀黍·2022-12-14 10:04

主数据怎么治理？

编辑：辉总来源：大数据架构师（ID：bigdata_arch）早在十几年前，主数据管理就已经是企业信息化建设中的核心部分。
大数据架构师Evan·2022-12-13 20:55

主题域、概念、逻辑、物理四种模型有什么区别与联系？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，我是你的老彭友。上周，有个彭友给我提了一个问题，说对主题域、概念、逻辑和物理模型不太理解，能不能解释一下。
大数据架构师Evan·2022-12-13 12:42

【招聘内推】软告招聘大数据架构师

百度地图招聘服务研发工程师荣耀推荐算法架构演进实践.pdf大规模推荐类深度学习系统的设计实践.pdf推荐系统在腾讯游戏中的应用实践.pdf清华大学256页PPT元宇宙研究报告.pdf（附下载链接）软告招聘大数据架构师
智能推荐系统·2022-12-11 21:38

元数据是什么？怎么管？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，今天老彭友小羊羊找到我，想要元数据管理相关的内容，说找遍了所有文章，都没找到详解元数据管理的内容。
大数据架构师Evan·2022-12-11 18:54

大数据架构之端到端方案综述（3）数据仓储&Hive

1数据仓库介绍1.1数据仓库简介数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，主要针对来自多个数据源的历史数据进行细粒度、多维度的分析，输出用于企业的数据分析、数据挖掘、数据报表等方向，帮助管理者或业务分析人员做出商业战略决策。数据仓库可概括为四个特点：面向主题：数据仓库都是基于某个明确主题，仅需要与该主题相关的数据，其他的无关细节数据将被排除掉。不同于传统数据库对
小事儿Phil·2022-12-11 11:20

表妹问：区块链是啥？

编辑：彭文华来源：大数据架构师彭友们好，我是老彭啊。最近小表妹又转行了，去了一家区块链公司。区块链太复杂了，表妹的小脑袋瓜感觉有点转不过来了。唉...关键时刻，还得老彭出马区块链是个啥？
大数据架构师Evan·2022-12-10 09:37

非结构化数据怎么盘点？

编辑：彭文华来源：大数据架构师也是很奇怪的事情，最近几个彭友都不约而同地开始讨论非结构化数据治理的工作，难道是群体意识觉醒了？
大数据架构师Evan·2022-12-10 09:37

数据要素市场研究资料合集

编辑：彭文华来源：大数据架构师彭友们好，我是老彭。最近有个博士彭友在为论文挠头，到处找数据要素市场的资料。
大数据架构师Evan·2022-12-10 09:37

数据资产目录建设之数据分类全解（上）

编辑：彭文华来源：大数据架构师彭友们好，我是老彭。春天来了，各种项目已经开始规划了，有些速度快的已经开始做了。
大数据架构师Evan·2022-12-10 09:07

【史上最全】数据分级分类标准、指南和模板

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，我是老彭。昨天有一位老彭友在群里求一份资料，很着急的样子：我一看，哟，这不是《中国移动大数据安全管控分类分级实施指南》么？
大数据架构师Evan·2022-12-10 09:06

喜大普奔！工信部数据管理人才证书！！！

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们！同志们！！！奔走相告啊！还记得我之前跟大家说的么？工信部正在研究数据管理人才队伍建设的事情，最近要出证书了！这不，证书出来了！
大数据架构师Evan·2022-12-10 09:06

数据中台之OneID (ID-Mapping)架构设计细节全解

编辑：诸葛子房来源：大数据架构师（ID：bigdata_arch）彭友们好，我是老彭。之前抽空写了一篇《OneID中的核心技术ID-Mapping究竟是怎么实现的？》
大数据架构师Evan·2022-12-10 09:06

大局视角看上海，数据集团定乾坤！

编辑：彭文华来源：大数据架构师彭友们好，我是老彭啊。今天早上一觉睡到8点多，睁眼就被这份文件给刷屏了。这个话题在各大群里都聊疯了。主要在以下几个问题上集中讨论：1、上海数据集团是干啥的？
大数据架构师Evan·2022-12-10 08:00

阿里十年技术沉淀｜深度解析百PB级数据总线技术

云原生场景下数据总线需求场景及挑战数据总线简介数据总线作为大数据架构下的流量中枢，在不同的大数据组件之间承载着数据桥梁的作用。
阿里云云栖号·2022-12-09 21:17

跨越速运如何构建实时统一的运单分析

作者：张杰，跨越速运大数据架构师（本文为作者在StarRocksSummitAsia2022上的分享）作为大型现代化综合速运企业，跨越速运拥有3000多家服务网点，日均处理30多万票运单。
StarRocks_labs·2022-12-01 19:05

机器学习前瞻

前者属于大数据架构范畴，后者则很大程度上依赖机器学习技术。机器学习专注与将数据集划分为训练数据和测试数据，以创建一个模型，来提高对未来做决策的能力。数据挖掘则是尽可能精确地挖掘目标区域，而无需使
语或·2022-11-30 14:27

跨越速运如何构建实时统一的运单分析

作者：张杰，跨越速运大数据架构师（本文为作者在StarRocksSummitAsia2022上的分享）**作为大型现代化综合速运企业，跨越速运拥有3000多家服务网点，日均处理30多万票运单。
·2022-11-30 14:25

大数据架构师、开发人员、公司必读：国外大数据应用的10个项目案例（图表）

问题导读1.大数据如何应用于电力能源项目，带来效益？2.数据可视化有哪些应用？3.是否可以将可视化应用于空气污染？4.大数据如何应用于各种（手机）应用？5.你认为大数据还可以应用于那些场景？小编翻译了意大利大数据应用10个项目案例例,供感兴趣的读者享用：一、数据分析案例1：题目：感测人类行为，预测能源消费应用领域：能源消费预测模型项目负责人：AndreyBogomolov项目简介：项目致力于优化意
cz-神算子·2022-11-29 22:58

当下火爆的大数据技术及算法怎么还能不知道 一起来学习互联网巨头的大数据架构实践！

大数据被称为新时代的黄金和石油，相关技术发展迅猛,所应用的行业也非常广泛，从传统行业如医疗、教育、金融、旅游，到新兴产业如电商、计算广告、可穿戴设备、机器人等。大数据技术更是国家科技发展和智慧城市建设的基础。当前“互联网+”新业态的发展，其核心也是大数据的采集、分析、价值挖潜和应用。当今全球大数据的竞争及战略布局，突出体现在大数据的技术创新和人才培养方面。技术创新能够保障在大数据发展的浪潮中始终处
Java技术那些事儿·2022-11-28 21:03

大数据从业人员需要哪些技能？

大数据团队的构成与基本要求一般来说，企业内部建立大数据团队，至少会包含以下几个类别：大数据开发工程师、大数据运维工程师、大数据架构师、有的还会有偏向业务侧的数据分析工程师。先说大数据运维工程师，从职责
IT转型指北·2022-11-27 21:10

数仓深度 | 主数据管理

本文来源于网络，如有侵权，联系浪尖删除：langjianliaodashuju来源：BAT大数据架构导读：企业主数据指企业内一致并共享的业务主体。
浪尖聊大数据-浪尖·2022-11-23 10:41

零基础学习大数据路线和方向

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师大数据开发师和大数据架构师必须熟
bobo79888·2022-11-20 04:45

大数据架构师必读的NoSQL建模技术

1.前言为了适应大数据应用场景的要求，Hadoop以及NoSQL等与传统企业平台完全不同的新兴架构迅速地崛起。而下层技术基础的革命必将影响上层建筑：数据模型和算法。简单地将传统基于第四范式结构化关系型数据库的模型拷贝到新的引擎上，无异于削足适履，不仅增加了大数据应用开发的难度和复杂度，又无法发释放新框架的潜能。该如何构建基于NoSQL的数据模型?现在能供参考的公开知识积累要么是空虚简单的一句“去规
普通网友·2022-11-19 19:44

实时数仓架构那些事儿

作为一个IT码农，从Java研发工程师一步步做到大数据架构师，不是说我有多厉害，只是想说，我的文字水平很差，建议大家从一个技术宅男的角度看我写的文字。
登峰大数据·2022-11-19 11:14

【实用工具系列之爬虫】python爬取资讯数据

【实用工具系列之爬虫】python爬取资讯数据前言在大数据架构中，数据收集与数据存储占据了极为重要的地位，可以说是大数据的核心基础。而爬虫技术在这两大核心技术层次中占有了很大的比例。
szZack·2022-11-17 07:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他