datastream 第11页

Flink SQL w/ Blink Planner执行流程解析（上篇）

用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSetAPI的复杂细节，降低了使用门槛。那么，一条FlinkSQL语句是如何转化成可执行的

LittleMagic·2021-04-18 20:24

Flink DataStream 状态和容错一：状态的使用

有状态函数（Statefulfunction）和算子（Operator）在处理独立的数据或事件时存储数据，使得状态（State）成为任何复杂算子中的关键部分，例如：当应用检索特定的事件模式，State将存储到接收到的事件的序列。当按照分钟/小时/天的唯独聚合事件时，状态将保留待处理的聚合状态。当在流数据上进行机器学习的模型训练时，状态保存模型当前版本的参数。当需要管理历史数据时，状态允许有效地访问

Alex90·2021-04-18 06:56

flink学习笔记-流式迭代运算

大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKcD14.支持的数据类型Flink对DataSet和DataStream

大数据研习社·2021-04-17 19:27

如何理解 Flink 中的算子（operator）与链接（chain）？

常见Operators官方支持的数据流转换类型文档MapDataStream->DataStream接受一个元素，然后生成一个元素。

王小奕·2021-04-15 17:21

canal和FlinkCDC的总结

文章目录1.canalcanal的介绍Canal原理流程图2.FlinkCDC2.1什么是CDC2.2CDC的种类2.2.1DataStream的方式(默认序列化器)2.2.2FinkSQL的方式2.2.3DataStream

Null is Null·2021-04-03 16:57

Flink 执行引擎：流批一体的融合之路

内容包括：1、背景2、流批一体的分层架构3、流批一体DataStream4、流批一体DAGScheduler5、流批一体的Shuffle架构6、流批一体的容错策略7、未来展望一、背景随着互联网和移动互联网的不断发展

·2021-03-25 16:07

ProcessFunction以及案例踩坑

ProcessFunction和CoProcessFunction说明DataStream与KeyedStreamd都有Process方法,DataStream接收的是ProcessFunction，而

LZhan·2021-03-11 03:26

Flink中关于Window API 演示以及时间窗口详解

1.Flink中窗口的API分类在Flink流计算中，提供Window窗口API分为两种1）、针对KeyedStream窗口API：window第一步、数据流DataStream调用keyBy函数分组，

LBJ_小松鼠·2021-03-08 20:59

DataStream体系和Transformation体系

#DataStream体系&Transformation体系##DataStream体系###DataStream介绍DataStream是Flink数据流核心抽象，其上定义了数据流的一系列操作，同时也定义了与其他

余双_833c·2021-02-23 20:59

Flink 算子Function实例化的坑

问题回顾关于一段代码：objectMySingleObj{//陷阱：//单例对象中一个是可变引用，一个是可变数组varstr:String=_vallist=newListBuffer[String]}...dataStream.map

小米的蝉·2021-02-23 14:56

大数据实操篇 No.16-记一次完整的Flink流计算案例（DataStream API）

第1章简介本篇文章采用FlinkDataStreamAPI完成一次端到端的完成流计算案例，将数据从Kafka抽取，写入Elasticsearch中，并且用kibana动态的展示出来。（客户端=>WebAPI服务=>Kafka=>Flink=>Elasticsearch=>Kibana）。第2章案例设计先定一个简单的需求（就根据当下的疫情情况来做吧）：统计各地区新冠疫情风险等级。我们假定每个地区确诊

pezynd·2021-02-09 13:20

如何跑通第一个 DataStream 作业？

简介：本文由阿里巴巴技术专家叶佳纯（自知）分享，主要介绍如何在实时计算Flink版中跑通DataStream作业。

阿里云开发者·2021-02-03 16:32

Flink常用的DataSet 和 DataStream API

目前版本1.10依然采用DataSet和DataStream两套API来适配不同的应用场景。2、DataSe

王知无-大数据技术与架构·2021-01-17 19:43

Flink Kafka Connector介绍和使用（DataStream and Table）

前言Flink提供了一个ApacheKafka连接器，我们可以很方便的实现从Kafka主题读取数据和向其写入数据。Flink附带了提供了多个Kafka连接器：universal通用版本，0.10，0.11官方文档解释说universal(通用版本)的连接器，会尝试跟踪Kafka最新版本，兼容0.10或者之后的Kafka版本，官方文档也说对于绝大多数情况使用这个即可。在最新的官方文档上有这个通用版本

俩只猴·2020-12-31 10:48

如何生成 Flink 作业的交互式火焰图？

前言Flink是目前最流行的大数据及流式计算框架之一，用户可以使用Java/Scala/Python的DataStream接口或者标准SQL语言来快速实现一个分布式高可用的流式应用，通过内部的JavaJIT

ApacheFlink·2020-11-13 11:19

Flink之体系--Task Execution--Tasks--Parallelism

finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStreamtext=[...]DataStream

Natasha·2020-11-13 11:53

Flink之DataStream--基于时间和窗口的操作符--ProcessFunction(包含基于电商用户行为分析实战）

ProcessFunctionAPI前面学习的Transformations是无法访问事件的时间戳和水位线信息的，如MapFunction的map转换算子是无法访问时间戳和当前事件的事件时间。基于此，DataStreamAPI提供了一系列的LowLevel转换算子--ProcessFunctionAPI，与高层算子不同，通过这些底层转换算子我们可以访问数据的时间戳，watermark以及注册定时事

Natasha·2020-11-13 11:59

Flink DataStream常见算子

mapDataStream-->DataStream：可以理解为映射，对每个元素进行一定的变换后，映射为另一个元素。

Natasha·2020-10-09 13:14

BT TWS 听音乐无声问题

后来查找datastream的通路，发现加密方式对其有影响，便dump出寄存器看加密方式，确实两只耳机不一样，修改完成，问题就没有了

小积跬步至千里·2020-09-17 11:16

Flink DataStream Window 窗口函数 ReduceFunction、AggregateFunction、ProcessWindowFunction

WindowFunction在窗口触发后，负责对窗口内的元素进行计算。WindowFunction分为两类:增量聚合和全量聚合。增量聚合:窗口不维护原始数据，只维护中间结果，每次基于中间结果和增量数据进行聚合。如:ReduceFunction、AggregateFunction。全量聚合:窗口需要维护全部原始数据，窗口触发进行全量聚合。如:ProcessWindowFunction。本文总结增量聚

wangpei1949·2020-09-17 06:34

Flink数据流类型转换

不同DataStream之间转换从而形成stream图。网上Flink1.4流程转换图有点旧，不过也能说明之间的转换关系。

weixin_42412645·2020-09-17 02:03

ByteArrayStream、DataStream、PipedStream、RandomAccessFile使用

ByteArrayStreampackageiootherstudy;importjava.io.ByteArrayInputStream;importjava.io.ByteArrayOutputStream;importjava.io.DataOutputStream;importjava.io.IOException;publicclassByteArrayStream{/***@param

消毒液0814·2020-09-16 22:46

Flink

ApacheFlink概述Flink是构建在DataStream之上一款有状态计算框架。由于该款框架出现的较晚2014.12月发布，通常被人们认为是第3代流计算框架。

HuiGe94v587·2020-09-16 12:23

Flink和Kafka

使用DataStream来消费Kafka。

超哥_cn·2020-09-15 23:39

flink学习报错：java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream

报错内容：java.lang.NoClassDefFoundError:org/apache/flink/streaming/api/datastream/DataStreamatjava.lang.Class.getDeclaredMethods0

qichangjian·2020-09-15 23:08

Flink高级Demo(含源码)

的状态管理keyedstateoperatorstateFlink的CheckPointcheckpoint的持久化方案checkpoint持久化开发FlinkSQL&TableAPIDataSet/DataStream

北山璎珞·2020-09-15 22:37

Flink 1.11 读取kafka注册为表

先上代码：importorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment

黄瓜炖啤酒鸭·2020-09-14 09:03

Flink 1.9 Table API & SQL 1

无论输入是批处理输入（DataSet）还是流输入（DataStream），在两

数据游戏·2020-09-14 08:25

Flink学习笔记（五）：与kafka、HBase整合案例

hbase案例3.从kafka读取数据写入Mysql案例1.从kafka读取数据再写入kafka环境：flink版本：1.7.2kafka版本：2.1.1flink与kafka交互有多种方式，本案例通过dataStream

gentlewei·2020-09-13 08:36

Flink学习笔记（六）：flink的算子与富函数

二：富函数在调用DataStream的算子例如map、filter时，可以传入一个函数，也可以传入一个Function类，就像这样：valfilterStream=stream.filter(newFilterFunction

gentlewei·2020-09-13 08:05

Flink11_Stream_DataStream_笔记

DataSource本文描述DataSourceAPI的概念和背后的架构,如果想了解dataSource在Flink怎么工作或者想实现一个dataSource.1.DataSource概念:核心Components:Splits,theSplitEnumerator,SourceReaderSplit:是一部分数据,比如一个文件,或者是一个log-partition.splits是原分配工作并行数

wongyiming·2020-09-11 17:09

HDFS------hadoop fs -put 代码执行过程

ToolRunner.run()--->FsShell.run()--->copyFromLocal()简单地讲，这个put写过程分为两个阶段，一个阶段是通过调用DFSClient的create方法创建输出流，并开启后台线程DataStream

「已注销」·2020-09-11 10:23

Flink学习10---DataStream之Sink简介及RichSinkFunction

一、Flink针对DataStream提供了大量的已经实现的数据下沉（sink）方式，具体有：1.writeAsText():将元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()

zhuzuwei·2020-09-11 06:09

(二)flink的Table API 与 SQL-DataStream或DataSet与Table相互转换

文章目录DataStream或DataSet转换为TableDataStream注册成Table通过registerDataStream转换成table使用fromDataStream转换成tableDataSet

_尽_际·2020-09-11 06:29

flink源码阅读---DataStream API编程指南

在Flink中的DataStream程序是实现数据流转换的常规程序(例如，过滤，更新状态，定义窗口，聚合)。数据流最初是从各种来源创建的(例如，消息队列、套接字流、文件)。

wandy0211·2020-09-11 05:00

Flink教程(一) Flink DataStream 创建数据源转换算子

Flink教程DataStream创建数据源转换算子1.前言2.创建Flink项目2.1在cmd窗口创建2.2WordCount例子2.3分析Flink程序代码结构3.第1步：创建执行环境4.第2步：创建数据源

亚瑟死灵骑士·2020-09-11 05:58

Flink-06-DataStream API 之 sink--Redis实现

记录Flink从Socket获取数据，经过数据处理后将数据落地到Redis。添加依赖包org.apache.bahirflink-connector-redis_2.111.0约定程序功能：接收Socket数据，将处理后的数据存到Redis。Redis数据类型：List命令：lpushkey：l_wordsvalue：Socket读入的数据测试：需要一台服务器（云主机/虚拟机）发送消息。demop

TRX1024·2020-09-11 05:18

FlinkCEP匹配事件提取

CEP模式示例详解首先需要模式的检测制定要查找的模式序列后，就可以将其应用于输入流检测潜在匹配调用CEP.pattern(),给定输入流和模式，就能得到一个PatternStreamvalinput:DataStream

大哥惯过谁·2020-09-11 05:33

flink java写的自定义source 如何在scala api中使用

valtext:DataStream[java.util.Map[String,String]]=asScalaStream(env.getJavaEnv.addSource(newSLSStreamFunction

weixin_30707875·2020-09-11 04:38

Flink学习笔记

ApacheFlink概述Flink是构建在DataStream之上一款有状态计算框架。由于该款框架出现的较晚2014.12月发布，通常被人们认为是第3代流计算框架。

骚白~·2020-09-11 03:39

Flink的Window与WindowAll 算子对比

案例：最大的区别，一个可以设置并行度，一个不能设置并行度Window算子：是可以设置并行度的dataStream.keyBy(0).window(TumblingEventTimeWindows.of(

黄瓜炖啤酒鸭·2020-09-11 02:48

flink学习笔记-flink的DataStream集成kafka

对于实时处理当中，我们实际工作当中的数据源一般都是使用kafka，所以我们一起来看看如何通过Flink来集成kafka。flink提供了一个特有的kafkaconnector去读写kafkatopic的数据。flink消费kafka数据，并不是完全通过跟踪kafka消费组的offset来实现去保证exactly-once的语义，而是flink内部去跟踪offset和做checkpoint去实现ex

小猿学习笔记·2020-09-11 02:47

Flink DataStream API - Data Source获取数据源

DataStreamAPI-DataSources基于文件获取数据源基于Socket获取数据源基于Collection获取数据源基于连接器（connectors）获取数据源自定义Source基于文件获取数据源在底层，Flink将文件读取过程分成两个子任务，即目录监视和数据读取。每个子任务都由一个单独的实体实现。监视由单个非并行(parallelism=1)任务实现，而读取由多个并行运行的任务执行。

李思净·2020-09-11 01:20

Flink进阶(一)

文章目录Flink进阶和代码演练(一)1、FlinkAPI的抽象级别2、DataStream2.1、DataSource2.2、自定义Source代码2.3、内置Connectors2.4、Source

eRRRchou·2020-09-11 01:33

flink-scala的wordcount案例（分别用流处理和批处理）

{DataStream,StreamExecutionEnvironment}objectStreamWcApp{//流处理，要往8000端口写

wu大熊·2020-09-11 01:58

Flink学习-DataStream-HDFSConnector(StreamingFileSink)

Flink学习-DataStream-HDFSConnector(StreamingFileSink)Flink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文推荐摘要本文主要介绍

迷路剑客·2020-09-11 00:56

Flink系列：批处理和流处理（DataSet和DataStream）区别

适合无边界数据使用DataStream要求低延迟批处

NIO4444·2020-09-11 00:13

Flink实时处理之DataStream

Flink的API概览1、dataStream的数据源1.1、socket数据源socketTextStream从socket当中接收数据，并统计最近5秒钟每个单词出现的次数第一步：node01开发socket

TUJC·2020-09-11 00:30

Flink 窗口计算

在Flink中整体将窗⼝计算按分为两⼤类：keyedstream窗⼝、datastream窗⼝,以下是代码结构：keyedStreamstream.keyBy(…)(x,1)).keyBy(0)//设置一个滚动窗口周期长度为

纯净天空7·2020-09-10 23:01

Flink学习5---DataStream之DataSource API (三）基于集合的fromCollection

importorg.apache.flink.streaming.api.datastream.DataStreamSource;importorg.apache.flink.streaming.api.environment.Stre

zhuzuwei·2020-09-10 23:24

推荐频道

datastream