流式计算

Flink for java之四：Time and Window

一、TimeFlink主要是做流式计算，数据是通过滚动（rolling）过来的，就像溪流一样，源源不断地进来。
吾系司机·2020-12-31 17:30

Spark项目落地实战以及日常大数据开发注意事项

Spark简介基于内存的分布式集群计算平台可适配Python、Java、Scala、SQL拓展功能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰富的
Eric·2020-12-28 12:58

Spark项目落地实战以及日常大数据开发注意事项

Spark简介基于内存的分布式集群计算平台可适配Python、Java、Scala、SQL拓展功能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰富的
Eric·2020-12-28 11:33

Kuiper 1.0.2 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考
EMQX·2020-12-24 10:09

快手基于 Apache Flink 的优化实践

首先介绍流式计算的基本概念，然后介绍Flink的关键技术，最后讲讲Flink在快手生产实践中的一些应用，包括实时指标计算和快速failover。
ApacheFlink·2020-12-21 11:01

快手基于 Apache Flink 的优化实践

首先介绍流式计算的基本概念，然后介绍Flink的关键技术，最后讲讲Flink在快手生产实践中的一些应用，包括实时指标计算和快速failover。
ApacheFlink·2020-12-21 10:50

HashData与HDFS的高效数据交换

同时，HDFS之上衍生了很多针对不同技术要求的分布式计算框架，使其适用于非结构化数据的清洗规整、流式计算和机器学习等场景。
HashData·2020-12-10 14:52

大数据的普及讲解

对象存储系统...32)分布式关系型数据库...33)分析型数据库...44)搜索引擎...45)图数据库...46)列存储数据库...47)文档数据库...48)键值存储数据库...42.数据计算...51)流式计算
华叶6018·2020-12-03 10:13

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：ApacheKafka是一个开源「消息」系统，由Scala写成
Mr.Z·2020-11-24 21:37

快手基于 Apache Flink 的优化实践

首先介绍流式计算的基本概念，然后介绍Flink的关键技术，最后讲讲Flink在快手生产实践中的一些应用，包括实时指标计算和快速failover。
阿里云云栖号·2020-11-24 15:00

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

在流式计算中，Kafka一般用来缓存数据，例如Flink通过消费Kafka的数据进行计算。关于Kafka，我们最先需要了解的是以下四点：ApacheKafka是一个开源「消息」系统，由Scala写成
Mr.Z·2020-11-23 22:32

将CSV的数据发送到kafka(java版)

github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；为什么将CSV的数据发到kafkaflink做流式计算时
程序员欣宸·2020-11-20 10:07

Kuiper 1.0.0 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考
EMQX·2020-11-19 11:09

Kuiper 1.0.1 正式发布 - 超轻量 IoT 边缘流处理

Kuiper设计的一个主要目标就是将在云端运行的实时流式计算框架（比如ApacheSpark，ApacheStorm和ApacheFlink等）迁移到边缘端。Kuiper参考
EMQX·2020-11-19 10:52

快手基于 Apache Flink 的优化实践

首先介绍流式计算的基本概念，然后介绍Flink的关键技术，最后讲讲Flink在快手生产实践中的一些应用，包括实时指标计算和快速failover。
Ververica·2020-11-18 22:46

将CSV的数据发送到kafka(java版)

github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；为什么将CSV的数据发到kafkaflink做流式计算时
程序员欣宸·2020-11-16 13:46

Java将CSV的数据发送到kafka的示例

为什么将CSV的数据发到kafkaflink做流式计算时，选用kafka消息作为数据源是常用手段，因此在学习和开发flink过程中，也会将数据集文件中的记录发送到kafka，来模拟不间断数据；整个流程如下
·2020-11-16 10:26

Structured Streaming

第1章StructuredStreaming概述从spark2.0开始,spark引入了一套新的流式计算模型:StructuredStreaming.该组件进一步降低了处理数据的延迟时间,它实现了“有且仅有一次
wm_43827516·2020-11-15 21:48

如何生成 Flink 作业的交互式火焰图？

前言Flink是目前最流行的大数据及流式计算框架之一，用户可以使用Java/Scala/Python的DataStream接口或者标准SQL语言来快速实现一个分布式高可用的流式应用，通过内部的JavaJIT
ApacheFlink·2020-11-13 11:19

实时计算

小红书如何实现高效推荐flink入门-流式计算概念Flink-Kafka-ConnectorFlink结合Kafka实战Flink实战项目之实时热销排行什么是K8S
天线嘟嘟茄·2020-11-11 16:14

流式处理框架storm浅析（上篇）

本文来自网易云社区作者：汪建伟前言前一段时间参与哨兵流式监控功能设计，调研了两个可以做流式计算的框架：storm和sparkstreaming，我负责storm的调研工作。
yijian2595·2020-10-09 20:59

2019年终总结

盘点去年定了要深入研究流式计算及系统架构，现在看来，流式计算只粗略看了点flink，系统架构方面貌似也没有太多的长进，文章也写的越来越像流水账了，感觉有点惭愧。
codecraft·2020-10-09 19:01

Flink流计算的概念

流式计算的世界观：时间不停万物不停在批量的时代，我们只记录关键的信息，只在乎当前，不在乎状态是如何一步步变化至当状态的，所以说批时代我们计算所面向的数据是静态的。
Natasha·2020-10-09 13:47

如何将炫酷的报表直接截图发送邮件——在Superset 0.37使用Schedule Email功能

安装过程遇到的任何问题请关注“实时流式计算”随时与我联系。所有的离线安装包已经整理好，请后台回复“superset0928”下载。
xiangwang2206·2020-09-28 10:23

如何将炫酷的报表直接截图发送邮件——在Superset 0.37使用Schedule Email功能

安装过程遇到的任何问题请关注“实时流式计算”随时与我联系。所有的离线安装包已经整理好，请后台回复“superset0928”下载。
独孤风·2020-09-28 10:00

设计模式第二篇，链式方法模式

链式方法也叫做流式方法，是一种相对比较新的概念，经常在流式计算或者类似的场景当中出现。
TechFlow2019·2020-09-25 11:00

大数据（Spark-Spark Streaming的架构及原理）

流式计算数据的时效性日常工作中，我们一般会先把数据储存在一张表中，然后对这张表的数据进行加工、分析。既然数据要储存在表中，就有时效性这个概念。
chouhanyi2822·2020-09-16 11:45

storm架构原理及集群部署

Storm流式计算1.概念1.1离线计算和实时计算离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据
@ange·2020-09-16 11:13

《Streaming System》 第一章：Streaming 101

the-world-beyond-batch-streaming-101https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102其中对流式计算的设计理念做了非常透彻的介绍
LogansCodingLife·2020-09-16 08:45

flink + kafka + es 流式计算

首先讲一下背景，公司现在要做流式，最后敲定用flink来做（考虑flink在阿里的巨大成功）。我们的数据读取Kafka，经过处理之后会存储到ES中。现在还处在研究阶段，把一些基本的东西跑通，写这篇博客希望做一个记录也希望能给刚开始搞flinkd朋友们一点帮助。用到的技术：flinkonyarn(1.7.0)kafka(1.1.1)es（1.7）maven(3.04)我用idea编辑器scala（2
oliver_lorne·2020-09-15 23:25

Structured Streaming中的状态算子：flatMapGroupWithState、mapGroupWithState

前言最近正在看spark的StructuredStreaming，正好工作中需要在流式计算中实现一个类似分组排序的功能，现在使用StructuredStreaming来实现。
kiwi198709·2020-09-15 22:51

Storm流式计算原理

Storm流式计算：storm是个实时的分布式计算系统，可以接收无限的数据流核心概念：Topology：Storm集群中运行的程序。
y976181862·2020-09-15 21:18

如何使用hadoop对海量数据进行统计并排序

[b][color=green][size=x-large]不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，
三劫散仙·2020-09-15 20:34

storm读书笔记---storm运行流程

一、storm是一个用于实时流式计算的分布式计算引擎，弥补了Hadoop在实时计算方面的不足（Hadoop在本质上是一个批处理系统）。
tterminator·2020-09-15 20:00

MapReduce（一）基础简介和Wordcount实例

MapReduce是一种离线批式计算框架，与Sparkstreaming、flink等流式计算框架不同，其输入数据是固定不可变的，延时较高，适合处理大批量实时分析的场景。
风之清扬·2020-09-15 19:36

Kafka-概念

2.Kafka核心概念3.对比3.1与其他消息引擎对比3.1与其他流式计算框架对比附：Kafka知识点思维导图参考1.Kafka是什么？
萝卜头柯克船长·2020-09-15 17:56

数据库 数据仓库 NoSQL OLAP OLTP HTAP 预处理 内存数据库 流式计算 MPP架构 DAG架构 列存储 文档存储

数据库MySqlDruidPrestoKylinPostgreSQLTidbImpalaESSparkSQL
oqiuqian·2020-09-15 07:50

Storm教程（一）

流式计算？离线计算：批量获取数据、传输数据、周期性批量计算数据代表：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算：数
辛聪明·2020-09-14 15:09

Kafka | 基本概念

Kafka简介在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）ApacheKafka是一个开源消息系统，由Scala写成。
路飞DD·2020-09-14 05:53

Flink 基本架构与组件

API&Libraries层Flink提供了支持流式计算和批计算的接口，通过在此基础之上抽象出不同应用类型的组件库，比如：基于流式处理的CEP（复杂
Nice_N·2020-09-13 22:53

现代流式计算的基石：Google DataFlow

0.引言今天这篇继续讲流式计算。毫无疑问，ApacheFlink和ApacheSpark（StructuredStreaming）现在是实时流计算领域的两个最火热的话题了。
cpongo1·2020-09-13 21:52

一个demo快速入门Storm

简单地说：storm是一个分布式实时大数据处理系统，主要用于做实时流式计算。
我的兔子丢了·2020-09-13 20:38

基于zookeeper和storm的车载流式计算框架

【下载地址】https://yunpan.cn/cukC2fSufAXDF访问密码4eed图1图2图3----------------------------------------------------------------------1）更多、更精彩信息尽在：http://www.hellojob.org2）热烈欢迎互联网从业者、求职者及HR加入~！大家共同探讨技术、内部招聘推荐、分享趣事
hellojob001·2020-09-13 18:42

Zookeeper+Kafka+Storm+HDFS实践

Hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如
diaorong5437·2020-09-13 18:43

大数据学习笔记之Storm（一）：Storm

离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据1.2流式计算是什么流式计算
Leesin Dong·2020-09-13 18:38

大数据处理框架之:Storm + Kafka + zookeeper 集群

Stormkafkazookeeper集群我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，
李大瑞瑞儿·2020-09-13 17:19

java中RunTime类的用途

最近公司准备使用spark做流式计算，把原来做过的东西拿出来整理一下，有以下内容1、通过java调用shell脚本启动spark2、在虚拟机退出时执行特定的方法即注册一个回调函数对于Runtime类的测试
lyzx_in_csdn·2020-09-12 16:47

Maven对重复依赖的解决方案

转载自：http://qifuguang.me/2015/12/11/Maven对重复依赖的解决方案/#more概述这几天在学习spark-streaming做流式计算，一开始写了一个比较简单的测试程序能够顺利运行
weizaishouex2010·2020-09-11 18:20

Blockly 可视化编程 谷歌 流式计算可配置化

让用户来配置对采集的数据进行处理.Blockly是一套开源的产品,方便写sql.更强大的是带有流程控制.也有更多的函数.貌似没有groupby下的字符串拼接.数据采集,数据可视化,大数据.stromsql的学习,将用户和流式计算结合起来
个人渣记录仅为自己搜索用·2020-09-11 14:17

本地windows跑Python程序调用Spark

应用场景spark是用scala写的一种极其强悍的计算工具，spark内存计算，提供了图计算，流式计算，机器学习，即时查询等十分方便的工具，当然我们也可以通过python代码，来调用实现spark计算，
weixin_33743703·2020-09-11 10:20
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他