大数据架构

大数据架构师：日访问百亿级

日志数据是最常见的一种海量数据，以拥有大量用户群体的电商平台为例，双11大促活动期间，它们可能每小时的日志数量达到百亿规模，海量的日志数据暴增，随之给技术团队带来严峻的挑战。本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比；后续调优过程：横向扩展与纵向扩展，分集群，数据分治，重写数据链路等实际现象与问题展开。我自己是一个从事了6年的Java全栈工
编程小世界·2023-04-11 20:25

大数据架构流程图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
ixiaoyang8·2023-04-10 21:12

Nginx实战应用-负载均衡，大数据架构设计方案

2.Nginx配置upstream块upstreamname{…}upstreamgupao{server192.168.12.1:8081;server192.168.12.1:《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】完整内容开源分享8082;server192.168.12.1:8
m0_64867152·2023-04-10 01:54

【大数据是什么】

大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的？
BigDataTuTu·2023-04-07 16:11

五个顶级的大数据架构

自从像AWS这样的公共云产品开辟了大数据分析功能以来，小企业通过挖掘大量的数据做到只有大企业才能做到的事情，至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等，并通过按使需付费的方式提供低成本的商品集群。在这十年中，这些产品蓬勃发展，涵盖了从实时(亚秒级延迟)流媒体式分析到用于分析批量模式工作的企业数据仓库，而企业数据仓库则可能需要数天或数周才能完成。以下将介绍用于大数据堆栈的五个最有
大数据Arry·2023-04-07 16:07

大数据架构

目前大数据主要的结构如下：从最下面一层往上依次为：一、接入层1、DataXa)dataX是一个ETL工具，阿里出品b)采用Framework+plugin架构构建，幸运的是自带了常用的插件，比如MysqlReader、HdfsWriter等c)Standalone，无中心，每个实例之间无关联d)性能强劲、相对于sqoop，配置更简单e)稳定高效，我们引入DataX以来，从来没有在数据传输上出过问题
zhaoyang10·2023-04-06 16:47

大数据导论（二：大数据的架构）

3、云计算的特点4、云计算的服务方式5、大数据架构大数据架构是
SupAor·2023-04-06 16:40

大数据架构师须知—基础知识点

大数据架构师须知—基础知识点结合BI,Reporting,Ad-hoc,ETL数仓分析等场景，从体系化的角度来分析OLAP系统的核心技术点，分为谈存储，谈计算，谈优化器，谈趋势4个章节。
kalvin_y_liu·2023-04-06 03:38

万字详解大数据架构新概念

来源：五分钟学大数据随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？本文作者来自阿里巴巴计算平台部门，深度参与阿里巴巴大数据/
开源Linux·2023-04-05 17:20

大数据架构方案 - Flink+Iceberg实时数据湖

导读：ApacheFlink是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么，当ApacheFlink遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容：数据湖的相关背景介绍经典业务场景介绍为什么选择ApacheIceberg如何通过Flink+Iceberg实现流式入湖社区未来规划工作一、数据湖的相关背景介绍数据湖是个什么概念呢？一般来说我
neil1314·2023-04-04 03:16

万字详解大数据架构新概念：湖仓一体

随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？本文作者来自阿里巴巴计算平台部门，深度参与阿里巴巴大数据/数据中台领域建设，将
公众号:肉眼品世界·2023-04-03 17:51

架构设计与技术选型

一、顶层架构Linux/Windows平台、CS/BS架构、大数据架构、应用领域（游戏、互联网、传统行业等）二、CS中的Client的技术选型1、GUI开发技术（1）微软技术体系MFC、WinForm、
ysds20211402·2023-04-03 11:26

大数据架构新解

大数据系统大体可以分成以下四个部分：1，数据采集层2，数据计算层3，数据服务层4，数据应用层下图是阿里巴巴大数据系统架构图：一、数据采集层数据采集主要分成以下三块数据：1，Web端日志2，App端日志3，第三方数据（比如mysql增量数据同步）Web端和App端的日志数据都需要制定各个场景下的埋点规范，用来满足各种通用业务场景下（比如浏览、点击等）的数据分析。Web端和App端数据采集一般都有各自
lloyd_chou·2023-04-02 23:03

大数据架构简介

大数据技术其实是分布式技术在数据处理领域的创新性应用，其本质和此前讲到的分布式技术思路一脉相承，即用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。大数据技术讨论的是，如何利用更多的计算机满足大规模的数据计算要求。大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数
朝闻道-夕死可矣·2023-04-02 23:24

大数据架构

Lambda架构架构中含有离线处理与实时处理两条链路，两条链路处理数据导致数据不一致等Kappa架构Kappa架构真正的实时数仓，目前在业界最常用实现就是Flink+KafkaKappa存在问题Kafka无法支持海量数据存储。对于海量数据量的业务线来说，Kafka一般只能存储非常短时间的数据，比如最近一周，甚至最近一天。Kafka无法支持高效的OLAP查询，大多数业务都希望能在DWD\DWS层支持
阳光-星辰大海·2023-04-02 23:29

Chaya虚拟机学习 —— 启用Docker遇到的Bug

由于最近在学习有关大数据架构开发的内容，自己的手提电脑不太给力，只有8G内存，对于VMWare很吃力，再加上感觉老师上课的步骤过于繁琐，所以打算从VMWare跳转到Docker来安装虚拟机来减少电脑运行的压力
ExcellentChaya·2023-04-02 15:48

Chaya大数据架构综合实践课程学习 ——— Openresty安装

使用环境：VMWare15.5Centos7虚拟机MobaXterm_Portable_v22.0一、下载Openresty相关依赖##下载Openresty依赖yuminstallreadline-develpcre-developenssl-develgcc##下载Openresty仓库yum源wgethttps://openresty.org/package/centos/openresty
ExcellentChaya·2023-04-02 15:39

深度剖析 | 基于大数据架构的BI应用

说起互联网、电商的数据分析，更多的是谈应用案例，如何去实践数据化管理运营。而这里，我们要从技术角度分享关于数据的技术架构干货，如何应用BI。原文是云猴网BI总经理王卫东在帆软大数据上的演讲，以下是整理的文字稿。在电商领域，我们一般认为所有的数据都可以分为四大类型，流量、销量、商品和会员，这也是最基础的报表需求。流量部分，可以分为受访、点击、搜索、来源等等。这些流量信息运用的重点在于一些广告包括一些
Leo.yuan·2023-04-02 04:00

如何估算集群所需的存储、计算资源？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。最近有位朋友在群里问：怎么预估大数据集群所需的内存容量？
大数据架构师Evan·2023-04-01 22:47

大数据架构详解_数据中台架构下的大数据应用

有了数据中台，数据在信息化体系中不再是分散、凌乱、重复的存在，系统可以对数据进行实时的分类、整理、加工，使其成为清晰有序、有条理、有脉络的有用信息。这些数据可以进一步分享给业务应用系统以开展数据应用和实现数据变现，结果将通过前端展现系统以多样化、可视化的形式展现出来。1、数据中台彻底消除企业的信息孤岛问题将企业的内部和外部数据、结构化和非结构化数据实时地汇集到一起，这就从源头上解决了大数据应用中的
weixin_39933414·2023-04-01 07:04

深入理解大数据架构之——Lambda架构

原文链接：https://jiang-hao.com/articles/2019/big-data-lambda-architecture.html“我们正在从IT时代走向DT时代(数据时代)。IT和DT之间，不仅仅是技术的变革，更是思想意识的变革，IT主要是为自我服务，用来更好地自我控制和管理，DT则是激活生产力，让别人活得比你好”——阿里巴巴董事局主席马云。传统系统的问题数据量从M的级别到G的
Heriam·2023-04-01 06:48

hive表直接入库本地mysql，用udf从将hive的查询结果直接写入mysql数据库中

首先先介绍一下背景，博主是hadoop大数据小白一枚，相信也有很多自学的大数据的人都跟我处境一样，在很多人已经在讨论大数据架构，实时分析，离线分析，优化等等问题的时候，我们还在闭门造车地玩着手里的那套hdfs
玉羽凌风·2023-04-01 06:07

大数据基础课03 阿里美团这些大厂都在用什么大数据架构？

首先，我想讲一个叫庖丁解牛的故事，想必你应该听过。庖丁从开始杀牛，到他的故事被写下，操刀十九年，杀了数千头牛。也正是由于丰富的实践经验，他总结出了解杀牛的方法论：依照牛生理上的天然结构，砍入牛体筋骨相接的缝隙，顺着骨节间的空处进刀。依照牛体本来的构造，筋脉经络相连的地方和筋骨结合的地方，都不曾被刀碰到过，更何况大骨呢！这样，能够顺利地把牛解开，还不会对刀造成损害。所以，他明白了最核心的思维，即顺应
办公模板库 素材蛙·2023-03-31 17:15

大数据架构演变之路

一、JavaWeb为什么需要大数据二、数据库-OLTP&数据仓库-OLAP三、大数据架构演变1.传统离线大数据架构2.Lambda架构（离线处理+实时链路）离线数仓+实时数仓3.Kappa架构四、架构选择五
紫罗兰盛开·2023-03-31 08:35

大数据架构演进

1、数仓架构演变（场景驱动）1.1经典数仓架构数据仓库概念是Inmon于1990年提出并给出了完整的建设方法1.2离线大数据架构随着互联网时代来临，数据量暴增，开始使用大数据工具来代替经典数仓中的传统工具此时仅仅是工具的取代
「miraitowa」·2023-03-31 08:30

大数据系统架构包含内容涉及哪些?

大数据架构是大数据技术应用的一个非常常见的形式，那么大数据系统架构包含内容涉及哪些?下面我们就来具体了解一下。1、数据源所有大数据架构都从源代码开始。
qq_38397646·2023-03-31 08:23

大数据架构与技术——（一）大数据概述

文章目录1.1大数据时代1.1.1第三次信息化浪潮1.1.2信息科技为大数据时代提供技术支撑1.1.3数据产生方式的变革促成大数据时代的来临1.1.4大数据的发展历程1.2大数据概念1.2.1数据量大1.2.2数据类型繁多1.2.3处理速度快1.3大数据的影响1.4大数据的应用1.5大数据关键技术1.6大数据计算模式1.7大数据产业1.8大数据与云计算、物联网的关系1.8.1云计算1.8.2物联网
TUTOU程序猿·2023-03-31 07:14

网易研选大数据架构演进

猜你喜欢0、【免费下载】2022年1月份热门报告盘点&下载1、微信视频号实时推荐技术架构分享2、从零开始搭建创业公司后台技术栈3、全民K歌推荐系统算法、架构及后台实现4、微博推荐算法实践与机器学习平台演进5、腾讯PCG推荐系统应用实践6、强化学习算法在京东广告序列推荐场景的应用7、飞猪信息流内容推荐探索8、华为项目管理培训教材9、美团大脑系列之商品知识图谱的构建和应用今天给大家带来网易严选数据和算
智能推荐系统·2023-03-31 07:10

架构-大数据架构-阿里

大数据架构大数据框架从0到1整个过程的实现，根据本博客内容，可以实现整个大数据基本搭建，只是大概步骤，供学习参考。
Bruce.Tang·2023-03-31 07:26

大数据架构演变

大数据架构演变一、传统离线大数据架构二、Lambda架构（离线处理+实时链路）-传统实时开发三、Lambda架构（离线数仓+实时数仓）四、Kappa架构五、架构选择：六、湖仓一体（流批一体）实时数仓架构七
LG_985938339·2023-03-31 07:15

【珍藏版】⼤数据中台架构及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN博客https://blog.csdn.net
大数据研习社·2023-03-31 06:59

云原生大数据架构中实时计算维表和结果表的选型实践

一前言传统的大数据技术起源于Google三架马车GFS、MapReduce、Bigtable，以及其衍生的开源分布式文件系统HDFS，分布式计算引擎MapReduce，以及分布式数据库HBase。最初的大数据技术与需求往往集中在超大规模数据存储、数据处理、在线查询等。在这个阶段，很多公司会选择自建机房部署Hadoop的方式，大数据技术与需求集中在离线计算与大规模存储上，常见的体现方式有T+1报表，
阿里云技术·2023-03-31 02:53

大数据架构-流批一体发展演进

目前，有哪些主流大数据架构模式及其发展？今天，我们都会一一解读，并介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。
IT转型指北·2023-03-31 02:44

大数据架构师应该做到的

----github地址----关于软实力部分同步会更新场景落地----直接访问ProcessOn脑图请点击----高清大图----脑图文件技能图大数据架构师该掌握的技能主要分为两块硬能力与软实力一.平台建设二
oHouShanRen1·2023-03-31 01:16

大数据架构选型与设计

大数据架构选型与设计1.1如何构建大数据平台？
回忆de天空·2023-03-31 01:07

flink在企业IT架构中如何定位-在选型流批一体技术与大数据架构时的避坑指南

前言先放出本文的结论：讨论流批一体不该分系统去讨论谁该去负责和拥用这个流批一体，而是应该考虑业务系统要有流批一体架构同时大数据也必须要有流批一体架构。两者都不应该说：这是我独有的法宝。而当遇有特殊场景时又需要共用“一条流”来做流批一体。落笔这篇文章比较难，写什么呢？写架构设计？这倒不是最重要的，因为一家企业的技术架构只是次要的，而企业架构才是最重要的。企业架构才能决定技术架构。企业架构如果走偏根本
TGITCIC·2023-03-31 01:41

【大数据架构】-- 开源框架技术汇总

1.系统平台Hadoop、CDH、HDP、BigTop2.监控管理CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle3.文件系统HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS、Alluxio4.资源管理YARN、Mesos、K8s5.协调框架ZooKeeper、Etcd、Consul6.数据存储HBase、Cassandra、S
high2011·2023-03-30 18:07

人工智能的三层基本架构_几种软件架构

几种软件架构一．阿里云大数据架构二．今日头条推荐算法架构推荐系统，如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。第一个维度是内容。
weixin_39969568·2023-03-29 23:17

大数据架构设计与数据计算流程

大数据架构设计技术架构Hadoop有3个核心组件：分布式文件系统HDFS；分布式运算编程框架MapReduce；分布式资源调度平台YARN。
李景琰·2023-03-29 23:00

电商数据应用体系建设总结（一）—— 数据应用架构剖析

从整个大数据架构来看，它处于整个大数据体系的最上层，也就是数据应用层，以我所参与开发的电商业务数据应用为例，在这一层主要有以下几种类型的数据应用：数据应用架构整个电商数据应用架构可以
Viking_bird·2023-03-29 16:32

【大数据架构】浅谈数据中台

数据中台背景大环境背景近几年较火的数字化转型，很多企业也从信息化到数字化。信息化时代：是信息化为物理世界活动服务的；更多的是为物理世界活动提升效率。例如我们现在很多系统其实也是信息化，例如OA系统、政府线上办理平台、医疗平台等等。数字化时代：物理世界的物在为数字世界服务，同时数字实际也在服务物理世界，形成闭环。例如我们获取了业务数据进行分析后，智能推荐又服务于物理世界，形成闭环。数字化是信息化的升
mmoo296225053·2023-03-29 06:54

Lambda架构

Lambda架构->实时数仓目前大数据架构已经走向了数据湖时代，无论是单纯的批处理模式，还是同时支持实时和离线数据处理的Lambda架构都已经过时。均不再适应现在大数据的业务发展需要。
锋火连天·2023-03-28 23:00

大数据Lambda架构详解

在不同的应用场景中也有不一样的数据架构，那么什么是大数据架构，引用如下的定义：Abigdataarchitectureisdesignedtohandlet
zhiyong_will·2023-03-28 22:43

数据仓库架构详解

学习目录一、基本概念二、核心框架三、数仓大数据架构详解（流程）一、基本概念数据仓库（DataWarehouse）是一个为数据分析而设计的企业级数据管理系统。
王博1999·2023-03-28 22:50

阿里大数据架构师教你hadoop处理数据和伪分布式安装部署！速看！

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（stream
大数据学习01·2023-03-28 16:45

新一代金融大数据架构将是什么？

这次沙龙的主题是“新一代大数据架构升级”，Kyligence特别邀请了企业代表中国建设银行、大地保险的技术负责人到场分享大数据建设之路。三十多家银行、保险、券商的技术和管理人员出席了此次会议。
Kyligence·2023-03-23 18:08

实时数据仓库的发展、架构和趋势

但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。
TASKCTL·2023-03-23 17:33

大数据专业找工作分析

一、大数据工作分类大数据维护、研发、架构工程师方向大数据工程师大数据维护工程师大数据研发工程师大数据架构师大数据挖掘、分析方向大数据分析师大数据高级工程师大数据分析师专家大数据挖掘师大数据算法师二、大数据就业形式由于大数据专业创建较晚
upupoo577·2023-03-23 11:18

老文新看：一口气说透中台--给你架构师的视角

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。因公众号迁移，老文章都搜索不到了。
大数据架构师Evan·2023-03-20 07:07

学习编程之后最常见的六大谎言，你中了几条？

我自己是一名大数据架构师，目前辞职在做线上教育大数据讲师，每天都会直播分享免费公开课，大家可以加群参加。以及我自己整理了一套最新的大数据学习系统教程，包括Hadoop，数据挖掘，数据分析。
玩大数据的小轩·2023-03-19 21:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他