大数据计算

Scala

第一章入门0、为什么学ScalaSpark新一代内存及级大数据计算框架，是大数据的重要内容Spark是适用Scala编写的。
asd623444055·2023-04-05 19:40

大数据技术之scala

前提介绍：·scala入门：基本语法（变量和数据类型、运算符、流程控制）·核心特性：函数式编程、面向对象、集合·其他特色：模式匹配、异常处理、隐式转换、泛型scala入门1、概述Spark—新一代内存级大数据计算框架
独创之上·2023-04-05 19:39

大数据计算框架概述

转自个人服务器：http://bbit.vip/service/main.php?version=1&type=article&id=166
~泊舟~·2023-04-05 13:04

Hadoop/Spark 太重，esProc SPL 很轻

很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。
逛逛GitHub·2023-04-04 21:22

手把手教数据仓库建设dataworks（小白版）

到1去搭建整个数据仓库工作量比较大，且对于性价比不高，故我们采用现成的阿里云提供的数据仓库，阿里云技术框架如下：阿里云产品介绍类比DataHub数据总线Kafka+dataxE-MapReduce开源大数据计算框架上面所说的从
菩提树下的呆子·2023-04-04 18:42

仅 1 年 GitHub Star 数翻倍，Flink 做了什么？

作者：王峰（莫问）ApacheFlink是公认的新一代开源大数据计算引擎，其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前，Flink已成为Apache基金会和GitHub社区最为活跃的
Apache Flink·2023-04-04 17:57

仅1年GitHub Star数翻倍，Flink 做了什么？

阿里妹导读：ApacheFlink是公认的新一代开源大数据计算引擎，其流水线运行系统既可以执行批处理程序也可以执行流处理程序。
阿里技术_·2023-04-04 16:22

Flink-Yarn安装及使用

但我们知道，Flink是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其它资源调度框架集成更靠谱。
  ·2023-04-03 17:14

数据同步工具之DataX理论

二、DataX可支持的数据源DataX目前已具备比较全面的插件体系，主流的RDBMS数据库、NoSQL、大数据计算系统都已接入，目前可支持的数据如下图所示：类型数据源Reader(读)Writer(写)
技匠三石弟弟·2023-04-03 05:53

Flink学习笔记：Flink Runtime

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz1.Flink运行时架构
weixin_30347335·2023-04-03 03:33

Java8新特性：流式计算

batchcomputing)流式计算(streamcomputing)交互计算(interactivecomputing)图计算(graphcomputing)等其中，流式计算和批量计算是两种主要的大数据计算模式
要学就学灰太狼·2023-04-03 01:51

阿里云框架大数据

框架总览：DataHub数据总线类比kafka与各种服务接口MaxCompute大数据计算框架类比Hadoop+hive+调度器DataWorks可视化MaxCompute的开发管理平台RDS关系型数据库类比
zhzsdiligence·2023-03-31 18:00

初识MR 初识YARN 初识ZooKeeper

适合于大数据计算MR的执行过程a.当用户输入计算任务时，MR会将任务分成一个个小的任务块，(一般情况下map所处理的文件都在HDFS本地，原因是为了减少网络间的传送)b.将每个任务块分给不同的map任务
A NIHUAN·2023-03-31 17:01

【探花交友DAY 02】项目搭建和用户登录功能的实现

1.项目介绍探花交友是一个陌生人的在线交友平台，在该平台中可以搜索附近的人，查看好友动态，平台还会通过大数据计算进行智能推荐，通过智能推荐可以找到更加匹配的好友，这样才能增进用户对产品的喜爱度。
lyx7762·2023-03-31 16:20

01-环境搭建

1、项目介绍探花交友是一个陌生人的在线交友平台，在该平台中可以搜索附近的人，查看好友动态，平台还会通过大数据计算进行智能推荐，通过智能推荐可以找到更加匹配的好友，这样才能增进用户对产品的喜爱度。
InLoadwetrust·2023-03-31 16:28

大数据架构与技术——（一）大数据概述

数据产生方式的变革促成大数据时代的来临1.1.4大数据的发展历程1.2大数据概念1.2.1数据量大1.2.2数据类型繁多1.2.3处理速度快1.3大数据的影响1.4大数据的应用1.5大数据关键技术1.6大数据计算模式
TUTOU程序猿·2023-03-31 07:14

大数据结合人工智能，助力智慧城市建设

PaddleSpatial是基于百度飞桨深度学习框架开发的时空大数据计算工具和平台，融合了百度领先的区域分割、时间序列、城市迁移学习等时空数据处理能力。
飞桨PaddlePaddle·2023-03-31 07:25

Flink的Java Api 实现WordCount的批处理和流处理

1基础说明Flink是一款优秀的批处理和流处理的大数据计算引擎，本文将通过Flink的JavaApi实现WordCount多版本案例。
为伊戏诸侯·2023-03-31 01:06

大数据计算生态之数据计算（二）

导读：大数据计算发展至今，已经形成了一个百花齐放的大数据生态，通用计算、定制开发，批量处理、实时计算，关系查询、图遍历以及机器学习等等，我们都可以找到各种对应的计算引擎来协助我们处理这些任务。
程小舰·2023-03-30 17:07

大数据计算生态之数据存储

导读：大数据计算发展至今，已经形成了一个百花齐放的大数据生态，通用计算、定制开发，批量处理、实时计算，关系查询、图遍历以及机器学习等等，我们都可以找到各种对应的计算引擎来协助我们处理这些任务。
程小舰·2023-03-30 16:37

大数据计算生态之数据计算（一）

导读：大数据计算发展至今，已经形成了一个百花齐放的大数据生态，通用计算、定制开发，批量处理、实时计算，关系查询、图遍历以及机器学习等等，我们都可以找到各种对应的计算引擎来协助我们处理这些任务。
程小舰·2023-03-30 16:37

flink学习笔记：Flink核心概念与编程模型

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz1.Flink分层架构
大数据研习社·2023-03-30 10:39

Flink笔记--深度全面总结

1.Flink基础1.1.Flink特性流式计算是大数据计算的痛点，第1代实时计算引擎Storm对ExactlyOnce语义和窗口支持较弱，使用的场景有限且无法支持高吞吐计算；SparkStreaming
☞空白页·2023-03-29 19:54

Flink学习笔记(1) -- Flink入门介绍

1、Flink简介  Flink是一个分布式大数据计算引擎，可对有限流和无限流进行有状态的计算，支持JavaAPI和ScalaAPI、高吞吐量低延迟、支持事件处理和无序处理、支持一次且仅一次的容错担保、
满床清梦覆星河·2023-03-29 19:31

【学习笔记 - Flink】Flink，Spark Word Count 对比

背景介绍由于平时工作使用Spark较多，在WordCount这一个小Demo中，我也好奇，同为大数据计算组件，且同为scala，会有多少不同？
Jiweilai1·2023-03-29 18:51

京东零售大数据云原生架构实践

通常谈到大数据，想到的是大数据平台、Hadoop生态或者数据湖技术，关注于大数据存储、大数据计算方向上的技术发展与应用；谈到云原生，想到的是微服务架构、容器化或者SRE（SiteReliabilityEngineer
特仑苏_T·2023-03-29 18:12

spark生态及各个功能

Spark大数据计算平台包含许多子模块，构成了整个Spark的生态系统，其中Spark为核心。伯克利将整个Spark的生态系统称为伯克利数据分析栈（BDAS），其结构如图1-1所示。
墨卿风竹·2023-03-29 18:33

大数据实时计算引擎 Flink

在网上有人将大数据计算引擎的发展分为四个阶段。
尚硅谷铁粉·2023-03-29 15:01

你必须要掌握的大数据计算技术，都在这了

导读：分布式的并行计算框架，从数据处理时效角度可以分为离线的批处理框架和实时的流处理框架。当前最流行的批处理框架是Spark，流处理框架是Flink。01离线批处理这里所说的批处理指的是大数据离线分布式批处理技术，专用于应对那些一次计算需要输入大量历史数据，并且对实时性要求不高的场景。目前常用的开源批处理组件有MapReduce和Spark，两者都是基于MapReduce计算模型的。1.MapRe
hzbooks·2023-03-29 15:34

Spark性能优化：开发调优篇（转）

《Spark性能优化：开发调优篇》《Spark性能优化：资源调优篇》《Spark性能优化：数据倾斜调优》《Spark性能优化：shuffle调优》在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一
愤怒的谜团·2023-03-29 02:41

性能一路“狂飙”，阿里云ECS上新啦

在性能上，大数据计算、
CSDN资讯·2023-03-28 10:04

Scala 一文搞定

ApacheSpark是专为大规模数据快速实时处理的计算引擎/内存级大数据计算框架。ApacheSpark是由Scala语言编写。
在奋斗的大道·2023-03-27 17:47

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎
阿里云云栖号·2023-03-23 21:58

报表工具群雄争霸，谁才是你的菜

无数的厂商起起伏伏，历经18年的风雨，大浪淘沙，很多报表工具已经不存在了，现就目前在市场主流的产品做一下介绍：润乾报表，是中国式报表的开拓者，十年前的时候，润乾报表可谓是如日中天，辉煌已成为历史，润乾已经转向大数据计算领域
戎码半生·2023-03-20 10:16

Flink on Yarn模式部署

但我们知道，Flink是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。
陈小哥cw·2023-03-19 11:20

从0到1搭建大数据平台之计算存储系统

大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。
数据社·2023-03-18 20:47

腾讯云轻量服务器和云服务器区别

轻量应用服务器适合中小企业或个人开发者搭建企业官网、博客论坛、微信小程序或开发测试环境，云服务器CVM适合更复杂如高并发网站、大数据计算、机器学习等复杂应用场景。
唐僧洗头用飘柔·2023-03-16 19:53

重磅开源！阿里首款自研科学计算引擎 Mars 来了

Mars突破了现有大数据计算引擎的关系代数为主的计算模型，将分布式技术引入科学计算/数值计算领域，极大地扩展了科学计算的计算规模和效率。目前已应用于阿里巴巴及其云上客户的业务和生产场景。
小李李哥老李·2023-03-16 06:10

2、大数据技术架构：核心原理与应用实践（上）

1.了解了大数据的前世今生谷歌的三篇论文，开启了大数据时代，俗称三架马车，三架马车分别是HDFS存储、MapReduce大数据计算、Yarn资源调度。如图1所示为大数据系统全栈技术组件图。
朗如行玉山_5b30·2023-03-14 11:42

Spark简介：Spark数据处理核心架构

作为大数据领域主流运用的大数据计算框架之一，Spark这几年的发展态势也越来越好了。
加米谷大数据张老师·2023-02-26 07:18

Spark ---------- 大数据框架，spark简介及架构图示

Spark是什么Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。
isOllie·2023-02-26 07:47

个推技术 | ETL工程师必看！超实用的任务优化与断点执行方案

作为一家数据智能公司，个推在大数据计算领域沉淀了丰富的经验。本篇文章将对大数据离线计算过程中出现的任务缓慢和任务中断这两大痛点问题提出解决思路，期望读者能够有所收获。一
个推技术·2023-02-26 06:05

5分钟入门物联网大数据计算——实践类

5分钟入门物联网大数据计算网站链接：https://developer.aliyun.com/...https://www.aliyun.com/page-s...物联网平台产品介绍详情：https:/
·2023-02-24 18:58

大数据技术原理与应用介绍

两大核心技术：分布式存储和分布式处理大数据计算模式批处理计算流计算图计算查询分析计算大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点。
CODER8R·2023-02-24 03:04

一文了解 SaCa DataViz 企业版和标准版的区别

企业版专属功能一：高性能大数据计算引擎在标准版里，SaCaDataViz采用直连数据库的方式，这种方式实时性比较好，但是面对海量数据时，受制于数据库本身的性能影响，如果单表超过几千万到上亿条记录的规
ivyran·2023-02-18 18:29

做SQL性能优化真是让人干瞪眼

很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。
捡田螺的小男孩·2023-02-16 21:25

做 SQL 性能优化真是让人干瞪眼

很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。
橙 子_·2023-02-16 20:33

怎样快速掌握大数据开发并拿到BAT高薪offer

01大数据发展前景及薪资状况随着5G的到来移动互联网、物联网得到高速发展，同时也产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析等问题。
金乐笑·2023-02-06 22:35

《从0开始学大数据》之流式计算的代表

这些数据通常通过HDFS存储在磁盘上，使用MapReduce或者Spark这样的批处理大数据计算框架进行计算，一般完成一次计算需要花费几分钟到几小时的时间。
我叫CJJ·2023-02-04 17:21

从0开始学大数据(十三）

互联网企业大数据平台上运行的绝大多数大数据计算都是关于数据分析的，各种统计、关联分析、汇总报告，都需要大数据平台来完成。下面给你讲一个我曾经遇到过的真实案例。老板跟技术部说，我们要加强监控。
ziqiiii·2023-02-04 17:50
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他