大数据架构

年薪30w还是白菜价？大数据工程师凭什么？

2020刚开始，这一场突如其来的疫情，企业告急，学校延迟开学，延迟开工，取消考试及比赛、应届生面临着开学即毕业的尴尬、更多人面临着失业……相比之下，大数据行业岗位供不应求，企业对有实战项目经验的大数据架构师人才求贤若渴
王知无(import_bigdata)·2022-11-08 21:13

BAT大厂的架构大数据你有了解么？解析大数据技术及算法

本篇从大数据架构的角度全面解析大数据技术及算法，探讨大数据的发展和趋势，全面介绍大数据的相关技术、算法和一些应用场景，帮助读者培养大数据的技术选型和系统架构能力。
娜布其 20224016017·2022-11-08 20:11

《大数据架构和算法实现之路：电商系统的技术实战》——1.2　分类任务的处理流程...

本节书摘来自华章计算机《大数据架构和算法实现之路：电商系统的技术实战》一书中的第1章，第1.2节，作者黄申，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_33713707·2022-11-06 11:03

大数据基础课10 带你聊一聊标准化数据挖掘全流程

在上一个模块，我对大数据架构中最主要的工具进行了介绍，从数据获取，到数据存储，再到数据传输，最后是数据的计算。
办公模板库 素材蛙·2022-11-05 14:31

数据计算中间件技术综述

传统企业大数据架构的问题上图是大家都很熟悉的基于Hadoop体系的开源大数据架构图。在这个架构中，大致可以分成三层。
cowjlymz7800977460·2022-10-24 10:11

干货 | 分布式数据库TiDB在携程的实践

Rongjun，携程大数据架构开发，专注离线和实时大数据产品和技术。
携程技术·2022-10-16 22:33

博客导读

一、胡扯乱聊一万小时定律写给自己的2014年中回顾2015年完成的第一本英文原著书写给自己定2015第二次机器革命《大数据架构详解》答疑（一）为什么写《大数据架构详解》这本书书籍推荐：《大数据架构详解》
jiezhu2007·2022-10-14 07:18

基于神经网络的推荐算法,协同过滤推荐算法python

大数据相关工作岗位很多，有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师、大数据专家、大数据总监、大数据研究员、大数据科学家等等数据分析师
wenangou·2022-10-08 11:43

【技思广益 · 腾讯技术人原创集】双周优秀作品回顾vol.03

❤️腾讯后台开发工程师jhonye《大数据架构系列：如何理解湖仓一体》这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowf
·2022-09-23 16:57

《大数据架构和算法实现之路：电商系统的技术实战》——1.6　案例实践

本节书摘来自华章计算机《大数据架构和算法实现之路：电商系统的技术实战》一书中的第1章，第1.6节，作者黄申，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_34240520·2022-09-23 15:35

关于数据治理工程师证书，你想知道的都在这里了

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。最近有很多很多彭友问我CDGA（数据治理工程师认证）的事情，我挨个回答效率也慢。
大数据架构师Evan·2022-09-22 19:20

CDPA考试的火热，代表中国数据行业驶上高速公路

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是老彭。我今天去参加DAMA组织的数据治理工程师（CDGA）考试了。
大数据架构师Evan·2022-09-22 19:20

大数据浪潮下_前端工程师眼中的完整数据链图

原文链接月17日云栖精选夜读：大数据浪潮下，前端工程师眼中的完整数据链图yq传送门2017-05-1717:53:43浏览211评论0大数据架构java阿里云mysql高可用电商内存管理数加c#数据同步数据中心数据结构摘要
weixin_33744854·2022-09-22 14:58

数据仓库建设之数仓架构

一、离线数仓大数据架构1.数仓架构下面详细说明图中的各个组件及其所起的作用。图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部分。ETL过程分成了抽取和转换装载两个部分。
chimchim66·2022-09-15 12:13

大数据架构系列：如何理解湖仓一体？

导语|本文推选自腾讯云开发者社区-【技思广益·腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯后台开发工程师叶强盛。引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前44
·2022-09-14 18:05

大数据系列（未完，待续）

大数据架构大数据架构：搭建CDH5.5.1分布式集群环境Hive大数据：Hive常用参数调优SparkSpark基本架构及原理SparkContext原理解析SparkRDD、DataFrame原理及操作详解
weixin_30425949·2022-09-09 09:25

实时数仓和离线数仓的概念

目录1、数据仓库的发展趋势1.1数据仓库的趋势1.2数据仓库的发展2、数据仓库架构的演变2.1传统数仓架构2.2离线大数据架构2.3Lambda架构2.4Kappa架构2.5混合架构3、三种大数据数据仓库架构
灵境旅行家·2022-08-31 12:18

kudu-- 分布式数据库

在阿里、小米、网易等公司的大数据架构中，KUDU都有着不可替代的地位。
四月天03·2022-08-22 23:11

大数据知识体系

潇洒劫个妞-大数据体系笔记教程https://www.cnblogs.com/xsjgn/tag/it18%E6%8E%8C/、想成为一名合格的大数据架构师你必须要掌握这些内容https://cloud.tencent.com
提莫_·2022-08-18 01:37

SQL on Hadoop在快手大数据平台的实践与优化 | 分享实录

快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。
msup789·2022-08-13 12:57

透过数字化转型再谈数据中台（三）：一文遍历大数据架构变迁史

编者按：《透过数字化转型再谈数据中台》系列连载6-8篇左右，作者结合自己在数据中台领域多年实践经验，总结了数据架构知识、BI知识，以及分享给大家一些产业互联网实施经验。本文是系列文章中的第三篇。在前面两篇“关于数字化转型的几个见解”、“唯一性定理中的数据中台”提到了数据中台发展问题。比如概念发展太快，信息量过载，以及存在广义、狭义的数据中台定义的差别等，涉及到的这些知识都离不开数据架构的范畴，所以
松子无核·2022-08-11 10:42

百度用户产品流批一体的实时数仓实践

文章整体包含4个部分，首先会介绍下大数据架构演进，从经典架构到Lambda架构再到Kappa架构；然后会介绍下我们做流批一体实时数仓的背景，旧架构面临的主要问题；第三会介绍下我们流批一体实时数仓的技术方案
·2022-08-10 12:42

首席数据官：从哪里来？到哪里去？

编辑：孙宁来源：大数据架构师（ID：bigdata_arch）数字经济是继农业经济、工业经济之后的主要经济形态。
大数据架构师Evan·2022-08-05 13:56

酷开科技 × StarRocks：统一 OLAP 分析引擎，全面打造数字化的 OTT 模式

作者：周桂民，大数据架构师和负责人，主要负责大数据平台基础建设工作酷开科技，全称深圳市酷开网络科技股份有限公司，成立于2006年，自主研发了智能电视操作系统——酷开系统。
·2022-08-03 17:55

Hadoop HDFS数据仓库技术

作为大数据领域的始祖，开源项目Hadoop已经诞生了近15年了，虽然今天大数据技术已经层出不穷，市场上涌现出了很多优秀的大数据架构和产品，但是Hadoop中的很多技术实现仍然有借鉴意义，本篇我们就来看下
Java云海.·2022-08-02 09:30

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
embelfe_segge·2022-08-01 13:29

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
m0_67403188·2022-07-31 10:38

小海豚“变身”全新智能调度引擎，深入浅出在DDS的实践开发应用

这次在7月Meetup为大家带来的是基于DolphinScheduler的智能调度引擎在DDS的应用，这场演讲主要会跟大家介绍宇动源-DDS（自研的图形化数据开发工作室）、大数据架构、DDS产品和使用中遇到的问题
·2022-07-22 16:29

大数据架构之Hadoop生态圈

第一章：集群规划测试开发集群（逻辑划分）：1台管理节点理解点+1台工具节点/1台边缘节点——N太工作节点可在ClouderaManager界面查看，端口号：71801台机器上部署管理节点，通常包括以下叫角色：NN：NameNode（HDFS）；SHS：SparkHistoryServer（Spark）；RM：ReduceManager（YARN）；JHS：jobHistoryServerZK：Zo
TT15751097576·2022-07-18 13:06

实时BI（四）低成本的数据准实时处理思路

系列话题的最后一篇文章，所以简单回顾一下前面的几次分享：第一篇文章讲解了BI对数据T+1同步机制的原因和过程；第二篇文章讲解了如果要实现实时或者准实时，对传统数据仓库分层的ETL架构要做出哪些调整；第三篇文章讲解了大数据架构下的
派可数据BI可视化·2022-07-17 22:35

数字化转型考古：最早的数字化转型是哪年开始的？

编辑：彭文华来源：大数据架构师彭友们好，我是老彭啊。这两年“数字化转型”这个词太热了！有些人还没踏上数字化的路，同样也有些人却已经为数字化转型挠破了头。历史总是惊人的相似。
大数据架构师Evan·2022-07-16 14:52

什么是IceBerg

实时数据仓库的发展、架构和趋势这篇文章从实时数仓开始讲到批流一体，谈了谈对大数据架构体系发展趋势的看法。
阳呀么阳阳阳·2022-07-13 08:15

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
测试小扎·2022-07-12 12:47

大数据架构师——音乐数据中心平台离线数仓综合项目（一）

文章目录音乐数据中心平台离线数仓综合项目数据库与ER建模数据库数据库三范式第一范式(1NF)：原子性，字段不可分第二范式(2NF)：唯一性，一个表只能说明一个事物，有主键，非主键字段依赖主键第三范式(3NF)：非主键字段不能相互依赖，不存在传递依赖反范式ER实体模型ER实体关系模型案例数据仓库与维度建模数据仓库意义什么是数据仓库？数据仓库发展历程1.萌芽阶段(1978~1988年)2.探索阶段3.
yangwei_sir·2022-07-08 11:05

我选有钱有话语权的大数据架构师！

前段时间，朋友出去面试，还没聊几句面试官就开始直奔主题：“目前的我们的开发遇到了一些困难：过去是烟囱式的开发模式，各个项目组之间的数据资源不互通，也分散了很多小的数仓，可能面临开发规范不一致，数据来源不一致，计算逻辑不一致等问题，如果你来了，准备如何解决？”朋友自信满满地回答：“集中所有数据，重新进行采集、计算、存储、加工，并统一标准和口径，形成标准数据，再进行存储。必要的话可以上数据中台。”没想
全栈开发者社区·2022-07-08 11:04

实时工业大数据产品实践——上汽集团数据湖

讲师简介：侯松，上汽集团资深大数据架构师、OracleACE、PMP、北美寿险管理师，《高并发Oracle数据库系统的架构与设计》作者，ACOUG社区、PG社区核心成员。
coqonmdrr954803650·2022-07-08 11:00

大数据架构师——数据湖技术（一）

文章目录数据湖技术概述什么是数据湖？大数据为什么需要数据湖？数据湖技术之IcebergIceberg概念及特点Iceberg数据存储格式1.Iceberg术语2.表格式Iceberg特点详述1.Iceberg分区与隐藏分区(HiddenPartition)2.Iceberg表演化(TableEvolution)3.模式演化(SchemaEvolution)4.分区演化(PartitionEvolu
yangwei_sir·2022-07-08 11:29

ZooKeeper与CAP是什么关系？适用于哪些场景？

典型大数据架构有哪些？我该怎么选择？2、要有亲自动手的意识，并积极主动接触和学习新技术。PS：最好能有一个自己的测试环境（有大量朋友因为环境而止步！）3、学到的知识，多在合适的业务场景进行试用和验证。
arno_wzk·2022-07-05 10:34

数据仓库架构

大数据架构演变（数仓架构演变）传统离线大数据架构21世纪初随着互联网时代的到来，数据量暴增，大数据时代到来。
Keven He·2022-07-04 12:53

17-ETL工具、大数据架构、Flume介绍、Flume组件介绍

9.8ETL9.8.1概念描述ETL理解ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据设计分为3部分数据抽取数据的清洗转换数据的加载对3部分的理解在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(OperationalDataStore，操作型数据存储)中——这
大数据下的画像人·2022-07-02 09:20

高考作文：如何下好“数据治理”这盘大棋？

编辑：彭文华来源：大数据架构师彭友们好，我是老彭。今天是众多考生的大日子，全国高考。我没在彭友圈里给考生加油，因为他们根本看不到。所以，我准备用自己的方式重温高考——写一篇高考作文，请各位彭友品鉴。
大数据架构师Evan·2022-06-13 11:22

技术趋势-大数据架构

细数一下，大数据架构目前比较热的词包括：*数据湖、湖仓一体*批流合一、实时计算*存算分离、存储虚拟化*交易和分析融合，OLAP、HTAP、HSAP等等，基本上还是围绕大数据平台的存储和计算的两大主题。
舟行·2022-06-01 04:25

大数据架构设计阶段之——Zookeeper

zookeeper从入门到实战（简介）本文是对架构设计阶段的zookeeper进行总结1.入门1.1概述：1.zookeeper是一个开源分布式的，为分布式应用提供协调服务的·Apache项目。2.zookeeper=文件系统+通知机制zookeeper的工作机制：是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，，然后接受观察者的注册，一旦这些数据的状态发生了变化，
D奋斗的小菜鸟！·2022-05-28 02:38

大数据架构师进阶之路-技术学习路线

大数据架构师进阶之路自大学毕业从事IT行业已有两年有余，虽在这两年一直没有停止学习的脚步，但总是感觉，不成体系，再就是学过的技术长时间不用，也忘记了，写篇博客的目的，是想在工作之余，一是充实自己，将学习的痕迹记录下来
俺是刘铁柱·2022-04-27 08:20

2019年大数据从入门到精通应该具备的知识体系

入门知识推荐书籍1、舍恩伯格的《大数据时代》；2、巴拉巴西的《爆发》；3、涂子沛的《大数据》；4、吴军《智能时代》；5、《大数据架构商业之路：从业务需求到技术方案》工具技能1、hadoop：常用于离线的复杂的大数据处理
小迪和夫人·2022-04-22 07:03

5、数据仓库抽象ODS/DW/DWS

我们可以知道所谓的大数据实际上就是系统在运行过程中产生的各种日志的汇总集合，那么为了更进一步使数据能高复用，产生了数据仓库的概念，本章就是笔者结合自己的工作经历梳理数据仓库中的抽象层级，以便于加深对大数据架构的理解
朗如行玉山_5b30·2022-04-11 15:26

体验了一把当架构师的感觉

最近公司数据方面的需求变得更多元化了，导致原有的大数据架构满足不了公司现有的需求。
·2022-02-27 21:52

Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？

本文试从系统架构的角度，就大数据架构热点，每条技术线的发展脉络，以及技术趋势和未解问题等方面做一概述。
阿里云云栖号·2022-02-25 15:43

全面解析湖仓一体与大数据演进历程｜内含技术工具选型策略

大数据架构的演进历程对于大部分人来说，大数据架构所涉及的概念及术语繁多且复杂。如何将这些混乱的词汇转化
·2022-02-25 11:17

Java开发者职业生涯要看的200+本书

目录：入门书籍基础书籍多线程与并发网络编程数据结构语言基础进阶性能优化响应式编程JVM虚拟机代码&设计优化设计模式框架与中间件数据库缓存与NoSQL消息队列ORM框架Spring家族高并发分布式搜索引擎大数据架构分布式架构微服务架构架构方法论
rommel_c02e·2022-02-18 04:49
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他