datastream

Flink学习6---DataStream之DataSource API (五）RichParallelSourceFunction自定义多并行DataSource

自定义多并行DataSource必须继承RichParallelSourceFunction类，并重写run()和cancel()方法。importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.functions.source.RichParallelSourceFunction;import
zhuzuwei·2020-07-09 06:08

Flink学习9---DataStream之功能更丰富的Transformation算子RichMapFunction

Flink还提供了功能更丰富的Transformation实现接口。RichFuction除了提供原来MapFuction的方法之外，还提供open,close,getRuntimeContext和setRuntimeContext方法，这些功能可用于参数化函数（传递参数），创建和完成本地状态，访问广播变量以及访问运行时信息以及有关迭代中的信息。importorg.apache.flink.api
zhuzuwei·2020-07-09 06:08

Flink学习7---DataStream之DataSource API (六）不同数据源及容错性总结

1.Flink提供的这些数据源接口的容错性保证如下表。DataSource语义保证备注FileExactly-onceCollectionExactly-onceSocketAt-most-onceKafkaExactly-once需要使用0.10及以上版本2.Flink可通过内置的Connector连接器，提供对应的Source支持连接器是否提供Source支持是否提供Sink支持ApacheK
zhuzuwei·2020-07-09 06:08

Flink学习5---DataStream之DataSource API (四）addSource用法

addSource可以实现读取第三方数据源的数据。1.此处以读取kafka数据为例（kafka集群安装参考https://blog.csdn.net/zhuzuwei/article/details/107136796）importorg.apache.flink.api.common.serialization.SimpleStringSchema;importorg.apache.flink.
zhuzuwei·2020-07-09 06:08

Flink学习8---DataStream之Transformation算子简介

一、Flink针对DataStream提供了大量的已经实现的算子。1.map:输入一个元素，返回一个元素，中间可以进行清洗转换等操作。
zhuzuwei·2020-07-09 06:08

聊聊flink KeyedStream的KeySelector

/org/apache/flink/streaming/api/datastream/KeyedStream.java@PublicpublicclassKeyedStreamextendsDataStream
weixin_33853827·2020-07-08 15:47

DataStream与DataSet

DataStream与DataSetFlink具有特殊类DataStream与DataSet，这两者是flink中主要的数据源，根据数据源可分为有界源和无界源，而DataStream则是无界源，DataSet
浅然言而信·2020-07-08 12:45

Flink DataStream之Kafka数据写入HDFS，并分区到Hive

FlinkDataStream之Kafka数据写入HDFS，并分区到Hive因业务要求，我们需要从Kafka中读取数据，变换后最终Sink到业务的消息队列中，为保证数据的可靠性，我们同时对Sink的结果数据，进行保存。最终选择将流数据Sink到HDFS上，在Flink中，同时也提供了HDFSConnector。下面就介绍如何将流式数据写入HDFS，同时将数据load到Hive表中。一、pom.xm
张行之·2020-07-07 21:41

flink深入研究(12) DataStream类中keyBy函数调用流程

这里再贴一下相关代码：//连接socket获取输入的数据DataStreamSourcetext=env.socketTextStream("localhost",port,"\n");//计算数据DataStreamwindowCount=text.flatMap(newFlatMapFunction(){/****/privatestaticfinallongserialVersionUID=
乘风如水·2020-07-06 19:08

flink深入研究(11) DataStream类中flatMap函数调用流程

flatMap算子和map有些相似，输入都是数据流中的每个元素，与之不同的是，flatMap的输出可以是零个、一个或多个元素，它的输出元素放在了Collector类对象中，接下来我们进入到代码中来进行分析，我们使用示例如下：//计算数据DataStreamwindowCount=text.flatMap(newFlatMapFunction(){publicvoidflatMap(Stringva
乘风如水·2020-07-06 19:07

Flink运行时之客户端提交作业图-上

客户端提交作业图作业图（JobGraph）是Flink的运行时所能理解的作业表示，无论程序通过是DataStream还是DataSetAPI编写的，它们的JobGraph提交给JobManager以及之后的处理都将得到统一
vinoYang·2020-07-06 10:38

Kafka Streams: KStream和KTable

KStream数据流（datastream），即是一段顺序的，可以无限长，不断更新的数据集。数据流中比较常记录的是事件（streamofevents），这些事
表现力·2020-07-05 20:10

flink 异步io原理 访问hbase

具体的概念及使用方式可以看官方文档flink异步io原理先上一张原理图：再看关键代码：DataStream>resultStream=AsyncDataStream.unorderedWait(stream
熊猫玩转大数据·2020-07-04 23:18

flink学习笔记-table与sql简介、编程开发及DataSet、DataStream与Table相互转换

1：Flinktable以及SQL的基本介绍ApacheFlink具有两个关系型API：TableAPI和SQL，用于统一流和批处理。TableAPI是用于Scala和Java语言的查询API，允许以非常直观的方式组合关系运算符的查询，例如select，filter和join。FlinkSQL的支持是基于实现了SQL标准的ApacheCalcite。无论输入是批输入（DataSet）还是流输入（D
小猿学习笔记·2020-07-02 17:58

flink学习笔记-dataStream常用算子、自定义分区、自定义sink

flink当中对于实时处理，有很多的算子，我们可以来看看常用的算子主要有哪些，dataStream当中的算子主要分为三大类，Transformations：转换的算子，都是懒执行的，只有真正碰到sink
小猿学习笔记·2020-07-02 17:27

第一个Flink程序 词频统计

)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStream
宁缺100·2020-07-02 16:19

Flink的数据流输入，转换，输出（章节二）

（章节二）程序部署本地执行//1.创建流计算执⾏环境valenv=StreamExecutionEnvironment.createLocalEnvironment(3)//指定代码并行度//2.创建DataStream
策马出凉州·2020-07-02 14:05

flink api 常用算子的操作

flinkapi常用操作算子1.flink中算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑2.在flink中有多种不同的DataStream类型
一枚小兵·2020-07-02 11:41

Flink 中 DataStream / DataSet 与 Table 的相互转换

最近在使用FlinkTableAPI，将DataStream/DataSet与Table的相互转换方法进行总结。
magic_kid_2010·2020-07-02 11:21

Flink 中 Table API & SQL 介绍

本文开头附：Flink学习路线系列^_^1.TableAPI&SQL开头附上：FlinkTableAPI&SQL英文官方文档1.1背景Flink虽然已经拥有了强大的DataStream/DataSetAPI
扛麻袋的少年·2020-07-02 10:32

Flink常用算子Transformation介绍

本文开头附：Flink学习路线系列^_^1.算子介绍Flink中的算子，是对DataStream进行操作，返回一个新的DataStream的过程。
扛麻袋的少年·2020-07-02 10:59

Flink 原理与实现：Table & SQL API

转载来源：http://wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/Flink已经拥有了强大的DataStream/DataSetAPI
尔笑惹千愁·2020-07-02 10:55

Flink从入门到项目实践

文章会对Flink中基本API如：DataSet、DataStream、Table、Sql和常用特性如：Time&Wi
Perkinl·2020-07-02 09:14

Flink DataStream中join

窗口Join（WindowJoin）windowjoin将共享相同key并位于同一窗口中的两个流的元素联接在一起。可以使用窗口分配器定义这些窗口，并根据两个流中的元素对其进行评估。然后将双方的元素传递到用户定义的JoinFunction或FlatJoinFunction，在此用户可以发出满足联接条件的结果。通用用法可总结如下：stream.join(otherStream).where().equ
Perkinl·2020-07-02 09:14

Flink Table API & SQL概念和通用API

官网链接：https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/dev/table/common.html#register-a-datastream-or-dataset-as-tableTableAPI
Perkinl·2020-07-02 09:43

34.DataStream API之Side Outputs

flink1.9除了从DataStream操作的结果中获取主数据流之外，你还可以产生任意数量额外的侧输出结果流。侧输出结果流的数据类型不需要与主数据流的类型一致，不同侧输出流的类型也可以不同。
li2327234939·2020-07-02 07:50

《初级》Flink 窗口函数练习

weixin605405145ProcessWinFunOnWindowimportorg.apache.flink.api.java.tuple.Tuple;importorg.apache.flink.api.java.tuple.Tuple3;importorg.apache.flink.streaming.api.datastream.DataStream
小晨说数据·2020-07-02 03:30

Flink--Window apply

defmain(args:Array[String]):Unit={valenv=StreamExecutionEnvironment.getExecutionEnvironmentvaltextStream:DataStream
diaojing1918·2020-07-01 22:42

Flink CEP学习线路指导1：Flink CEP入门

但是FlinkCEP处理的是流式数据，但是却并不是流式处理（datastream）。后面给大家详细讲解
about云·2020-07-01 19:49

Flink DataStream API学习笔记----MyConclusion（4）

FlinkDataStreamAPI学习笔记FlinkDataStreamAPI实例程序(ExampleProgram)数据源(DataSources)DataStreamTransformationsControllingLatency（控制延迟）故障排除（Debugging）参考：作者：尼小摩文章链接：https://www.jianshu.com/p/acaaea86c1e4来源：简书学习列
Zhouxk96·2020-07-01 19:25

Flink系列文章

系列文章1概念Flink学习1-基础概念浅析背压（BackPressure）机制及其在Spark&Flink中的实现2安装和配置Flink学习2-安装和启动3使用3.1概览Flink学习3-API介绍3.2DataStream3.2.1
迷路剑客·2020-07-01 17:24

Flink学习-DataStream-KafkaConnector

Flink学习-DataStream-KafkaConnectorFlink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文推荐摘要本文主要介绍Flink1.9中的DataStream
迷路剑客·2020-07-01 17:24

Flink传感器温度监控预警

{DataStream,Str
霄嵩·2020-07-01 16:10

Flink（八）Flink的Parallelism并行度

OperatorLevelfinalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();​DataStreamtext=[...]DataStream
苏启豪·2020-07-01 15:48

Flink之数据流类型

DataStream在经过Transformation之后，会随之生成相应的数据流类型。比如：KeyedStream，JoinedStreams，CoGroupedStreams等等。
叫我不矜持·2020-07-01 13:19

Flink批量写入HBase效率问题

DataStream>sourceList=dataStream.timeWindowAll(Time.sec
Liu_RS·2020-07-01 11:12

Flink的安装和使用(sql,datastream,cep)

一、安装1、环境准备：环境变量配置：exportJAVA_HOME=/usr/share/java/jdk1.8.0_131exportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/libexportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexportHADOOP_HOME=
Penny婷·2020-07-01 07:56

Flink-Core高级篇

文章目录1、DataStream转换、映射、FlatMap、Filter、KeyBy、Reduce、折叠、聚合、Window、WindowAll、WindowApply、WindowReduce、WindowFold
唉.·2020-07-01 06:23

14-Flink-Table-&-SQL实战

TableAPI是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，TableAPI和SQL接口彼此紧密集成，以及Flink的DataStream和DataSetAPI
weixin_33739523·2020-07-01 05:53

14-Flink-Table-&-SQL

TableAPI是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，TableAPI和SQL接口彼此紧密集成，以及Flink的DataStream和DataSetAPI
大数据技术与架构·2020-07-01 05:54

Flink的Side Output(侧输出)

0.12017.06.1218:15*字数299阅读3968评论1喜欢4除了从DataStream操作的结果中获取主数据流之外，你还可以产生任意数量额外的侧输出结果流。
zxfBdd·2020-07-01 05:05

flink的神奇分流器-sideoutput

比如，Datastream是单词流，那么一般做法(只写了代码模版)是datastream.filter(word
大数据星球-浪尖·2020-07-01 04:18

十二、Flink实战--DataStream、DateSet、TableAPI 、SQL各种实现

FlinkAPI实现1.DataStream实现2.DataSet实现3.TableAPI&SQl实现今天我们模拟实际生成，从kafka消费数据，利用flink的各种API实现，统计wordcount。
灰二和杉菜·2020-07-01 03:31

Flink1.8批量Sink到HBase

需要批量插入hbase,这里自定义时间窗口countWindowAll实现100条hbase插入一次Hbase前面我就不写了直接上核心代码吧/*每10秒一个处理窗口*/DataStream>putList
陆继森·2020-07-01 03:19

1、Flink流处理（DataStream API）概览（Data Source、Data Sink）

Flink中的DataStream程序是在数据流上实现转换的常规程序(例如，filtering,updatingstate,definingwindows,aggregating)。
飞朋·2020-06-30 19:33

Kafka部分Partition中无数据导致Window不触发问题

计算逻辑是这样的：使用两个DataStream分别消费两个Topic中的数据，对两条流先分别设置WaterMark，然后union，接着进行keyBy操作，最后使用Window将同一个时间窗口中的两种数据汇聚在一起进行计算
淡定一生2333·2020-06-30 12:38

Flink流处理之迭代API分析

IterativeStreamFlink在DataStream中也是通过一个特定的可迭代的流（IterativeStream）来构建相关的迭代处理逻辑，这一点跟DataSet提供的可迭代的数据集（IterativeDataSet
vinoYang·2020-06-30 05:01

Flink DataStream API编程指南

Flink中的DataStream程序是实现数据流转换的常规程序(例如：filtering,updatingstate,definingwindows,aggregating)。
尼小摩·2020-06-30 02:57

Flink学习笔记：Time的故事

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKcD1Time三兄弟1.1DataStream
大数据研习社·2020-06-29 22:38

如何评价路孚特的Datastream工具？

Datastream是跨品种的全球经济、金融深度历史数据库。资产类别覆盖包括：股票，债券，大宗商品，利率，汇率，衍生品，宏观经济等。Datastream是路孚特所推出的历史金融数据
songroom·2020-06-29 20:59
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他