datastream

Flink学习3---DataStream之DataSource API (一）基于Socket的SocketTextStream

SocketTextStream可以从Socket中读取字符串数据importorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
zhuzuwei·2020-09-10 23:24

Apache Flink DataStream API之程序结构分析&DataSource（章节二）

作者：jiangzz电话：15652034180微信：jiangzz_wx微信公众账号：jiangzz_wyApacheFlink®-是针对于数据流的状态计算，Flink具有特殊类DataSet和DataStream
麦田里的守望者··2020-09-10 23:44

Flink入门及实战（8）- DataStream 的 sink

1DataStream的sink1.1向redis写数据org.apache.bahirflink-connector-redis_2.111.0启动redispackagecom.tzb.demo.streaming.sink
一角残叶·2020-09-10 23:23

DataSet and DataStream

Flink有一个特殊的类DataSet和DataStream来表示程序中的数据。您可以将它们视为不可变的数据集合，可以包含重复的数据。
RashaunHan·2020-09-10 23:52

Flink 的DataStream 和 DataSet区别

DataSet与DataStream的区别、使用DataSet同DataStream从其接口封装、真实计算Operator有很大的差别，Dataset的实现在flink-javamodule中，而DataStream
liuhehe123·2020-09-10 22:28

Flink的计数功能探索

使用场景：需要对经过算子处理后的DataStream中不同类型的数据进行全局统计个数（正解见第三种）1.Metric参考地址：https://ci.apache.org/projects/flink/flink-docs-stable
Bazingaea·2020-09-10 22:17

Flink DataStream API 之 DataSource

FlinkAPI的抽象级别1、概述source是程序的数据源输入，你可以通过StreamExecutionEnvironment.addSource(sourceFunction)来为你的程序添加一个source。flink提供了大量的已经实现好的source方法，你也可以自定义source通过实现sourceFunction接口来自定义无并行度的source，或者你也可以通过实现Parallel
逆水行舟如何·2020-09-10 22:03

Apache Flink——DataStream的DataSource以及DataSink（章节二）

DataStream的DataSource以及DataSinkDataSourceDataSource是flink数据的来源，用户可以通过env,addSource(SourceFunction)将SourceFunction
若不撇开终是苦;·2020-09-10 22:37

flink dataStream

dataSource数据来源sockectpublicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.socketTextStream("localhost",8888).print()
程序男保姆·2020-08-27 16:21

聊聊flink的TextOutputFormat

/org/apache/flink/streaming/api/datastream/DataStream.java/***WritesaDataStreamtothefilespecifiedbypath
go4it·2020-08-26 07:16

Flink 自定义Source 读取Mysql

valenv:StreamExecutionEnvironment=StreamExecutionEnvironment.getExecutionEnvironmentvalstringDataStream:DataStream
懒的执行力度无敌·2020-08-24 17:31

TCP协议中的seq/ack序号是如何变化的？

sequencenumber：表示的是我方（发送方）这边，这个packet的数据部分的第一位应该在整个datastream中所在的位置。（注意这里使用的是“应该”。
geekartt·2020-08-24 14:16

Flink-dataStream的种类和基本使用

Flink-dataStream的种类和基本使用mapflatMapfilterkeyBykeyBy使用元组keyBy自定义BeankeyBy多字段分组reducemax/min官方案例以及说明地址：官方案例
Zong_0915·2020-08-24 07:06

Flink 物理分区

dataStream.partitionCus
anfuyi5792·2020-08-23 09:05

Flink DataStream与Table之间的相互转换

FlinkDataStream与Table之间的相互转换1.需引入的maven依赖2.读取kafka数据，获取DataStream3.DataStream注册为Table4.Table操作5.Table
search-lemon·2020-08-23 03:42

flink 1.10 sql踩的坑

sql开了timewindow导致流变成了撤回流，无法直接插入，遂将其转为dataStream,本地无问题，在流上报错《Causedby:org.apache.flink.shaded.guava18.
weixin_43394456·2020-08-23 03:48

filnk入门

importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataStream
weidaoyouwen·2020-08-23 03:09

Flink DataStream流表与维表Join(Async I/O)

在Flink流处理过程中，经常需要和外部系统进行交互，如维度补全，用维度表补全事实表中的字段。默认情况下，在MapFunction中，单个并行只能用同步方式去交互:将请求发送到外部存储，IO阻塞，等待请求返回，然后继续发送下一个请求。这种同步交互的方式往往在网络等待上就耗费了大量时间。为了提高处理效率，可以增加MapFunction的并行度，但增加并行度就意味着更多的资源，并不是一种非常好的解决方
wangpei1949·2020-08-23 03:03

FLINK Producer数据写入到kafka 方法一

importorg.apache.flink.api.common.serialization.SimpleStringSchema;importorg.apache.flink.streaming.api.datastream.DataStreamSource
与自己作战·2020-08-23 03:26

Flink源码阅读:流中的四种值类型

在DataStream中流动有的元素有四种类型,分别是Watermark,StreamStatus,StreamRecord和LatencyMarker.它们都是StreamElement的子类.下面分别介绍一下
Raycee·2020-08-23 03:05

Apache-Flink深度解析-DataStream-Connectors之Kafk

Kafka简介ApacheKafka是一个分布式发布-订阅消息传递系统。它最初由LinkedIn公司开发，LinkedIn于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka用于构建实时数据管道和流式应用程序。它具有水平扩展性、容错性、极快的速度，目前也得到了广泛的应用。Kafka不但是分布式消息系统而且也支持流式计算，所以在介绍Kafka在ApacheFlink中的应用之前，先以
ruiyiin·2020-08-23 02:15

Flink- 将表转换成DataStream | 查看执行计划 | 流处理和关系代数的区别 | 动态表 | 流式持续查询的过程 | 将流转换成动态表 | 持续查询 | 将动态表转换成 DS

GitHubhttps://github.com/SmallScorpion/flink-tutorial.git将表转换成DataStream表可以转换为DataStream或DataSet，这样自定义流处理或批处理程序就可以继续在
SmallScorpion·2020-08-23 02:08

flink table转换DataStream报错 (toAppendStream和toRetractStream区别)

代码实现功能：统计单词个数代码如下：publicstaticvoidmain(String[]args)throwsException{Stringpath="D:\\cjj\\cjj.txt";StreamExecutionEnvironmentfbEnv=StreamExecutionEnvironment.getExecutionEnvironment();StreamTableEnviro
cjj386906718·2020-08-23 01:41

flink Iterate迭代基本概念

迭代的数据流向：DataStream→IterativeStream→DataStream以下代码以流开始并连续应用迭代体。
b078109·2020-08-23 01:06

Flink学习系列之五 DataStream API之Sink

sink是将数据源最终写入文件或者数据库或者其他中间件当中。1DataStreamAPI之DataSinkwriteAsText()：将元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取print()/printToErr()：打印每个元素的toString()方法的值到标准输出或者标准错误输出流中自定义输出addSink【kafka、redis】上述1在之前写过
大佛拈花·2020-08-23 00:41

Flink数据流转——Task之间(用户API层面)

内容如下：预备知识介绍方法调用栈与关键类介绍预备知识点Function–>StreamOperator–>StreamTransformation–>DataStream根据用户StreamApi的逻辑构建执行计划
super_man_0820·2020-08-22 13:38

Gremlin入门

每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（datastream）上执行一个原子操作。Gremlin语言包括三个基本的操作：map-step：对数据流中的对象进行转换；f
scu酱油仔·2020-08-22 10:17

Flink随数据流动的四种StreamElement简述

Flink为了完成不同的任务，在DataStream中流动的不止是我们的业务数据StreamRecord，还有其余三种标记，分别是Watermark，StreamStatus，LatencyMarker
catkint·2020-08-21 13:02

轻装上阵Flink--在IDEA上开发基于Flink的实时数据流程序

前言本文介绍如何在IDEA上快速开发基于Flink框架的DataStream程序。先直接上手！环境清单案例是在win7运行。安装VirtualBox，在VirtualBox上安装Centos操作系统。
zhouqinxiong·2020-08-21 07:02

Flink自定义一个简单source

importorg.apache.flink.api.java.tuple.Tuple;importorg.apache.flink.api.java.tuple.Tuple2;importorg.apache.flink.streaming.api.datastream.DataStr
修身从修心开始·2020-08-21 07:14

Apache Flink 第二章教案

程序部署本地执行//1.创建流计算执行环境valenv=StreamExecutionEnvironment.createLocalEnvironment(3)//2.创建DataStream-细化valtext
麦田里的守望者··2020-08-21 06:13

Flink 实现实时计数和按窗口计时功能程序设计

最近在开发程序的时候,有需要实时的计数处理,以及需要按照设计的窗口来补时长,在要求选用Flink处理后,程序大致架构设计入下:其设计思路为:从kafk读取数据生成DataStream[Message]这样一个中间变量
梦想成真那天·2020-08-21 05:47

Flink Table Api & SQL 初体验,Blink的使用

无论输入是批处理输入（DataSet）还是流输入（DataStream），在两个接口中指定的查询都具有相同的语义并指定相同的结果。
ipoo·2020-08-21 05:03

Flink SQL 实战 (3)：Tabel API & SQL 注册Tabel Source

WordWithCount计算任务自定义了Sink函数现在我们开始研究自定义Source:前方干货极多注册TabelSource我们以KafkaSource举例，讲2种注册TabelSource的方法和一些技巧：将DataStream
_RobinWang·2020-08-21 04:15

flink1.11 学习篇--DataStream API

什么能被转化成流？Flink的Java和ScalaDataStreamAPI可以将任何可序列化的对象转化为流。Flink自带的序列化器有基本类型，即String、Long、Integer、Boolean、Array复合类型：Tuples、POJOs和Scalacaseclasses而且Flink会交给Kryo序列化其他类型。也可以将其他序列化器和Flink一起使用。特别是有良好支持的Avro。Ja
大D饲养员·2020-08-21 04:55

flink DataStream iterate迭代流scala代码示例

1.迭代流定义直接看官网的解释：通过将一个运算符的输出重定向到前面的某个运算符，在流中创建一个“feedback”循环。这对于定义持续更新模型的算法尤其有用。上面的代码从一个流开始，并持续地应用迭代体。大于0的元素被发送回反馈通道，其余的元素被转发到下游。2.scala代码示例importorg.apache.flink.api.java.utils.ParameterToolimportorg.
Never/ff·2020-08-21 04:50

flink使用DataStreamUtils将DataStream的数据转成Iterator迭代器的数据（如数组、列表、集合等）

importorg.apache.flink.streaming.experimental.DataStreamUtilsimportscala.collection.JavaConverters.asScalaIteratorConvertervalmyResult:DataStream
Never/ff·2020-08-21 04:18

Flink DataStream API - Connector（连接器）

Connector连接器HDFS连接器Kafka1.创建连接器2.创建反序列化器3.设置消息起始位置偏移4.设置检查点周期5.设置位置偏移提交方式异步I/O连接器Source和Sink节点连接外部数据源的组件称为连接器（Connector），其中内置连接器的实现代码集成在Flink源码中，但是这些代码并没有被编译进Flink二进制程序包中。内置连接器如下，其中括号里描述的是支持Source还是Si
李思净·2020-08-21 04:06

【Flink】从单词计数案例弄明白DataStream API

{DataStream,StreamExecutionEnvironment}i
sqlBoy_·2020-08-21 02:13

Flink DataStream 内外部数据源的各种情况汇总

一、内置数据源（1）文件数据源在StreamExecutionEnvironment中，可以使用readTextFile方法直接读取文本文件，也可以使用readFile方法通过指定文件InputFormat来读取特定数据类型的文件，如CsvInputFormat。下面的代码演示了使用readTextFile读取文本文件importorg.apache.flink.streaming.api.sca
ABCGirlly·2020-08-21 02:40

Flink DataStream流及Batch单词计数

实战一:通过socket模拟产生单词数据场景：需要实现每隔1秒对最近2秒内的数据进行汇总计算packageorg.jy.data.yh.bigdata.streaming.flink;importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.utils.ParameterT
蜗牛杨哥·2020-08-21 02:14

Flink解决简单程序Job execution failed报错

Unit={valenv:StreamExecutionEnvironment=StreamExecutionEnvironment.getExecutionEnvironmentvalsource:DataStream
AsItachi·2020-08-21 02:00

ElasticSearch ILM试玩

ElasticSearchILM试玩创建一个生命周期管理策略官方给的例子PUT_ilm/policy/datastream_policy{"policy":{"phases":{"hot":{"actions
小鸡·2020-08-20 17:28

ElasticSearch ILM试玩

ElasticSearchILM试玩创建一个生命周期管理策略官方给的例子PUT_ilm/policy/datastream_policy{"policy":{"phases":{"hot":{"actions
小鸡·2020-08-20 17:28

Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？首先通过普通的DataStreamAPI是无法访问的，需要借助Flink提供的一个底层的API——ProcessFunction。ProcessFunction不仅能够访问时间戳与水位线，而且还可以注册在将来的某个特定时间触发的计时器(timers)。除此
西贝木土·2020-08-20 17:07

Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？首先通过普通的DataStreamAPI是无法访问的，需要借助Flink提供的一个底层的API——ProcessFunction。ProcessFunction不仅能够访问时间戳与水位线，而且还可以注册在将来的某个特定时间触发的计时器(timers)。除此
西贝木土·2020-08-20 17:06

flink DataStream算子中如何实时更新变量？

1.问题描述，如下图：成功解决！还有在迭代流中还可以使用windows操作。4.方案（3）使用Flink的DataStreamUtils。实验未成功，成功的大佬分享一下！欢迎查看相关入门博客：https://segmentfault.com/a/11...
ch123·2020-08-20 17:18

flink DataStream算子中如何实时更新变量？

1.问题描述，如下图：成功解决！还有在迭代流中还可以使用windows操作。4.方案（3）使用Flink的DataStreamUtils。实验未成功，成功的大佬分享一下！欢迎查看相关入门博客：https://segmentfault.com/a/11...
ch123·2020-08-20 17:18

flink DataStream iterate迭代流scala代码示例

由于DataStream程序可能永远不会完成，因此没有最大迭代次数。相反，您需要指定使用分割转换或过滤器将流的哪一部分反馈回iteration，以及哪一部分转发到下游。
ch123·2020-08-20 17:39

flink DataStream iterate迭代流scala代码示例

由于DataStream程序可能永远不会完成，因此没有最大迭代次数。相反，您需要指定使用分割转换或过滤器将流的哪一部分反馈回iteration，以及哪一部分转发到下游。
ch123·2020-08-20 17:38
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他