大数据架构

从码农到高级工程师：尚学堂1810期大数据全套视频教程全新上线

如今企业对于大数据高端人才的需求度越来越紧迫，在大数据团队主要分三种角色：大数据开发工程师、大数据运维工程师、大数据架构师。
北京尚学堂·2022-02-16 18:21

KUDU 介绍

在阿里、小米、网易等公司的大数据架构中，KUDU都有着不可替代的地位。
两棵橘树·2022-02-13 21:36

大数据平台架构设计探究

第三部分会介绍lambda和kappa架构模式下的一般大数据架构第四部分介绍裸露的数据架构体系下数据端到端难点以及痛点。
GOGOYAO·2022-02-11 09:14

搞懂深度学习到底需要哪些数学知识

【嵌牛鼻子】深度学习，大数据架构。【嵌牛提问】BP神经网络的思想？【嵌牛正文】IT互联网行业有个有趣现象，玩资本的人、玩产品的人、玩技术的人都能很好的在这个行业找到自己的位置并
梦里不知身是客_d549·2022-02-10 15:38

JuiceFS 即将发布 1.0 并调整开源许可

开源一周年JuiceFS开始于2017年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes标准存储等
JuiceFS·2022-02-09 16:43

十年资深大数据架构师教你python内置函数！看不看你决定！

Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时
大数据学习01·2022-02-08 13:31

关于Spring boot的最新最全面笔记

马士兵老师亲自认证的关于大数据架构的免费课程，想要的话快来！Springboot[if!supportLists]一、[endif]在STS中实现热部署STS本质上也是基于Eclipse的[if!
大数据客栈yi·2022-02-06 18:29

计算机毕业设计全网首发Python+Spark招聘推荐系统 招聘大数据分析 招聘爬虫 招聘可视化系统 求职职位推荐系统 求职大数据 招聘小程序app 招聘网站

Hadoop、Vue.js、Spark、SpringBoot、echarts、阿里云短信、百度AI、支付宝沙箱支付、Python、MySQL、协同过滤推荐算法(apache-mahout)创新点Spark大数据架构
计算机毕业设计大神·2022-01-18 00:36

JuiceFS 即将发布 1.0 并调整开源许可

开源一周年JuiceFS开始于2017年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes标准存储等
·2022-01-11 16:21

极客星球 | 数据治理一体化在MobTech金融风控场景下的实践

MobTech袤博科技受邀参加，大数据架构专家陈远光分享了数据治理一体化在MobTech金融风控场景下的实践和应用案例，带你走进数据应用与治理一体化的世界。
·2021-11-26 17:38

知乎利用 JuiceFS 给 Flink 容器启动加速实践

本文作者胡梦宇，知乎大数据架构开发工程师，主要负责知乎内部大数据组件的二次开发和数据平台建设。背景Flink因为其可靠性和易用性，已经成为当前最流行的流处理框架之一，在流计算领域占据了主导地位。
·2021-11-23 10:51

前沿分享｜阿里云数据库资深技术专家 姚奕玮：AnalyticDB MySQL离在线一体化技术揭秘

一、传统大数据架构面临的问题和挑战二、云原生数据仓库的架构与弹性三、云原生数据仓库诊断和
·2021-11-22 13:25

前沿分享｜阿里云数据库资深技术专家 姚奕玮：AnalyticDB MySQL离在线一体化技术揭秘

一、传统大数据架构面临的问题和挑战二、云原生数据仓库的架构与弹性三、云原生数据仓库诊断和运维一、传统大数据架构面临的问题和挑战传统大数据
·2021-11-18 14:25

什么是好的数据分析？化繁为简的力量

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。今天在群里看到一个表，真的是太棒了！
大数据架构师Evan·2021-11-16 23:17

极客星球 | 数据治理一体化在MobTech金融风控场景下的实践

MobTech袤博科技受邀参加，大数据架构专家陈远光分享了数据治理一体化在MobTech金融风控场景下的实践和应用案例，带你走进数据应用与治理一体化的世界。
·2021-11-11 18:33

大数据开发技术面试注意哪些方面

大数据架构与开发顾名思义大数据是一个以数据为核心的产业。大数据产业从数据的生命周期的传导和演变上可分为这几个部分：数据收集、数据储存、数据建模、数据分析、数据变现。
·2021-11-10 11:43

治理企业“数据悬河”，阿里云DataWorks全链路数据治理新品发布

简介：10月19日，在2021年云栖大会上，阿里云重磅发布DataWorks全链路数据治理产品体系，基于数据仓库，数据湖、湖仓一体等多种大数据架构，DataWorks帮助企业治理内部不断上涨的“数据悬河
·2021-11-05 17:33

治理企业“数据悬河”，阿里云DataWorks全链路数据治理新品发布

简介：10月19日，在2021年云栖大会上，阿里云重磅发布DataWorks全链路数据治理产品体系，基于数据仓库，数据湖、湖仓一体等多种大数据架构，DataWorks帮助企业治理内部不断上涨的“数据悬河
·2021-11-05 11:05

治理企业“数据悬河”，阿里云DataWorks全链路数据治理新品发布

简介：10月19日，在2021年云栖大会上，阿里云重磅发布DataWorks全链路数据治理产品体系，基于数据仓库，数据湖、湖仓一体等多种大数据架构，DataWorks帮助企业治理内部不断上涨的“数据悬河
阿里云开发者·2021-11-05 11:38

数说长津湖，惨烈到无法想象！

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）国庆七天，我哪儿也没去，就在家里写书，组织彭友们学习数据管理知识体系。媳妇嫌我太宅了，就带我和娃去看了一场《长津湖》。
大数据架构师Evan·2021-10-08 19:20

云原生大数据架构中实时计算维表和结果表的选型实践

简介：随着互联网技术的日渐发展、数据规模的扩大与复杂的需求场景的产生，传统的大数据架构无法承载。
·2021-09-16 11:30

【kafka冷知识】0.10之后的kafka版本有哪些有意思的feature

作为一个优秀的分布式消息系统，Kafka已经被许多企业采用并成为其大数据架构中不可或缺的一部分。Kafka也已经不再只是分布式消息队列，而是想做集成了分发、存储和计算的“流式数据平台”。
大数据技术事务所·2021-09-05 11:02

Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？

本文试从系统架构的角度，就大数据架构热点，每条技术线的发展脉络，以及技术趋势和未解问题等方面做一概述。
·2021-08-04 12:45

当大数据架构遇上 TiDB

前言一年前，知乎的大数据架构与TiDB首次相遇，那时我们将HiveMetaStore的元数据库迁移到了TiDB，得到了超过单机数据库一个量级的性能提升。
·2021-07-30 14:53

Smartbi：大数据平台架构设计系统

根据大数据从来源到应用，实现传输的流程，可以将大数据架构设计分为数据收集层、数据存储层、数据处理层、数据治理与建模层、数据应用层。
·2021-06-25 15:47

大数据架构

大数据架构.png一、平台架构数据平台架构图.png1.1接入层1.1.1设备采集（IoT）数据采集(DAQ)，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析
玄鸟西·2021-06-22 07:23

【全集】大数据Linux基础

课程介绍本课程是由猎豹移动大数据架构师，根据公司大数据平台的运维情况，精心设计和打磨的大数据必备Linux课程。
大数据研习社·2021-06-12 10:45

一线大数据专家，用一文详解大数据架构，从数据获取到深度学习

前言本文将从大数据的本质：大数据现状及挑战，驱动因素，未来趋势，Spark原理及应用，探针，爬虫，日志采集，Flink，深度学习，数据分发中间件进行整体的介绍与概述，下图将全面详解大数据架构。
Javachichi·2021-06-11 15:56

【案例分享】企业智能决策平台

——马云宝原科技大数据部的CDO曾和小编谈起：“自马云提出从移动互联网时代进入大数据时代后，各大主流企业纷纷建设内部的大数据部门或者企业数据中心，大数据架构师、数据分析师、大数据挖掘工程师等职位在近些年炙手可热
YUMIKOJUN·2021-06-06 01:08

大数据架构技术地图-学习大纲

架构地图大数据架构技术路线图序序叨叨最新梳理了2021年以大数据为中心的技术架构地图，一些重点的技术已经用粗体标出。计划对照地图逐一打卡，查漏补缺。
朝朝Mumu·2021-05-18 16:45

第一篇一机器学习前奏之“统计学”

早些时间也给自己立下今年的学习目标大数据架构师，为了这一目标也买了不少书籍，下了不少电子书，甚至有报班的想法，后来在修行的道路上有幸遇到居士，且果断的加入到了居士的学习小组，希望借此机会夯实下自己的基础知识
麦子星星·2021-04-25 03:51

网鱼网咖通过大数据架构 极致洞察会员偏好

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！公司简介我们网鱼网咖成立于1998年，致力于打造多人游戏空间，为顾客提供极致的游戏上网体验。我们公司的业务范围覆盖连锁上网服务门店、电脑及周边产品、游戏社交软件等，为加盟伙伴提供一体化的解决方案。我们公司旗下拥有网鱼网咖、风蝶网咖、网鱼电竞、虎猫电竞、诺诺茶、YVR六大连锁品牌
阿里云云栖号·2021-04-15 05:27

银行有没有必要建立数据中台？看看这些架构师和技术总监怎么说

这个问题，需要解决，我咨询了行业内的大数据架构师，应该能给你一点答案。1、@Derek20股份制银行大数据架构师：数据中台建设必要性的论证是每家机构必做的功课，目前没有一个成熟且可量化的论证方案
大数据的那些事·2021-04-12 19:34

Apache Iceberg 数据湖从入门到放弃(0) —— 初步入门三部曲

但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。
黄瓜炖啤酒鸭·2021-04-08 09:11

实时数据仓库的发展、架构和趋势

但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。
NetEaseResearch·2021-04-02 09:25

TiDB 在实时分析应用场景下的探索

本文不涉及对大数据场景的介绍，适合正在或者考虑进行大数据架构探索的对象，将根据不同的角色需求、成本以及技术选型方面做介绍，并提供一种可供选择的HTAP技术产品——TiDB，在进行TP业务的同时，满
·2021-03-10 21:50

TiDB 在实时分析应用场景下的探索

本文不涉及对大数据场景的介绍，适合正在或者考虑进行大数据架构探索的对象，将根据不同的角色需求、成本以及技术选型方面做介绍，并提供一种可供选择的HTAP技术产品——TiDB，在进行TP业务的同时，满
·2021-03-10 04:23

TiDB 在实时分析应用场景下的探索

本文不涉及对大数据场景的介绍，适合正在或者考虑进行大数据架构探索的对象，将根据不同的角色需求、成本以及技术选型方面做介绍，并提供一种可供选择的HTAP技术产品——TiDB，在进行TP业务的同时，满
TiDB_PingCAP·2021-03-09 14:57

一文掌握大数据架构师需要具备的能力和格局

大数据架构师是一个综合学科，除了平台编码，架构设计，更需要了解行业领域、以及具备产品和运维的思维能力。本文梳理了作为一个架构师应该具备哪些能力，文章比较长，干货满满，看完绝对有不同的感悟。
Dark_King_·2021-03-04 14:28

Apache Flink 在快手的过去、现在和未来

本文由快手大数据架构团队负责人赵健博分享，主要介绍ApacheFlink在快手的过去、现在和未来。
·2021-02-22 11:01

大厂如何搭建大数据平台&架构

大厂的大数据架构淘宝淘宝大数据平台承担了数据采集、加工处理、数据应用的职责。
·2021-02-06 13:27

大厂如何搭建大数据平台&架构

大厂的大数据架构淘宝淘宝大数据平台承担了数据采集、加工处理、数据应用的职责。
·2021-02-06 12:45

Apache Flink 在快手的过去、现在和未来

本文由快手大数据架构团队负责人赵健博分享，主要介绍ApacheFlink在快手的过去、现在和未来。
·2021-02-05 16:16

Apache Flink 在快手的过去、现在和未来

摘要：本文由快手大数据架构团队负责人赵健博分享，主要介绍ApacheFlink在快手的过去、现在和未来。
Ververica·2021-02-04 21:00

【大数据架构综述】计算引擎篇之Spark概述

【大数据架构综述】计算引擎篇之Spark概述1.引言ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。
LanternTeam·2021-01-17 22:11

【大数据架构综述】数据存储篇之Hbase

typora-root-url:imgHbase一、Hbase是什么Hbase是一个开源的Nosql数据库，参考google的BigTable建模，使用Java语言实现，运行在HDFS文件系统上，为Hadoop提供类似BigTable的服务。ApacheHbase最初是Powerset公司为了处理自然语言搜索产生的海量数据而开展的项目。它可以存储海量稀疏的数据，并且具备一定的容错性、高可靠性及伸缩
LanternTeam·2021-01-15 17:29

【大数据架构综述】计算引擎篇之MapReduce

MapReduce1.MapReduce简介MapReduce是一种简化、并行计算编程模型，它最早出现在2004年Google公司JeffreyDean和SanjayGhemawat的论文“MapReduce:SimplifiedDataProcessingonLargeClusters”（面向大型集群的简化数据处理）中，是Google公司开源的一项重要技术。MapReduce用于进行大数据量的计
LanternTeam·2021-01-15 00:19

【大数据架构综述】文件系统篇之HDFS概述

HDFS一、HDFS是什么HDFS(HadoopDistributeFileSystem)是基于流数据访问模式（“一次写入，多次读取”）的分布式文件系统，支持海量数据的存储。HDFS就是GFS思想的开源实现。GFS是Google公司在2003年发布的GoogleFileSystem论文，是GFS思想的开源实现。HDFS的高容错性，高吞吐量，高扩展性等特点，可以很好地解决海量数据的存储问题。HDFS
LanternTeam·2021-01-13 22:41

终于学完了阿里云大数据架构师推荐的Flink入门与实战文档，真的强！

Flink项目是大数据计算领域冉冉升起的一颗新星。大数据计算引擎的发展经历了几个过程，从第1代的MapReduce，到第2代基于有向无环图的Tez，第3代基于内存计算的Spark，再到第4代的Flink。因为Flink可以基于Hadoop进行开发和使用，所以Flink并不会取代Hadoop，而是和Hadoop紧密结合。Flink主要包括DataStreamAPI、DataSetAPI、TableA
互联网全栈工程师·2020-12-25 21:35

hive中groupby优化_HIVE 优化浅谈

作者：邓力，entobit技术总监，八年大数据从业经历，由一代HADOOP入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。
weixin_39589693·2020-12-20 03:13
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他