FlinkSQL

Flink CDC使用Java DataStream API写入Hudi，实时同步业务库

需要源码或者进Flink交流QUN的+vx：zoomake1024在上一篇文章介绍了使用FlinkSQL消费Kafka实时入湖的方法，全程都是SQL实现的，但是当处理逻辑复杂时，SQL并不是那么灵活，此时通过编码的方式可以更好的驾驭整个框架
走码课·2022-10-18 17:24

Could not find any format factory for identifier ‘parquet‘ in the classpath

编写FlinkSQL读写hdfs上的parquet文件报错：Causedby:org.apache.flink.table.api.ValidationException:Couldnotfindanyformatfactoryforidentifier'parquet'intheclasspath
头顶榴莲树·2022-10-13 12:24

Flink SQL多字段的维表关联查询-flink-connector-redis

FlinkSQL经常需要关联维表，使用redis作为维表存储介质能获得较快的响应速度，大多情况维表有多个字段,写入与维表查询时只能使用concat与tablefunction函数处理，非常麻烦。
山里小龙·2022-09-30 09:49

Flink SQL在线调试功能的实现

FlinkSQL在线调试功能能够帮助用户数据探索与逻辑校验，调试功能要求如下：1.调试时的SQL与线上SQL一致2.不能对线上数据产生影响3.限制消耗资源4.方便快捷地获取到预览结果5.限制运行时长为了满足上述要求
山里小龙·2022-09-30 08:52

实时数仓：基于Flink Sql connector：kafka构建实时数仓

本文会分享基于FlinkSQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到：实时数仓的基本架构实时数仓的数据处理流程F
四月天03·2022-09-24 13:39

大数据项目之Flink实时数仓(数据采集/ODS层)

项目概览实时大屏效果项目主要通过实时数仓的搭建来完成对Flink的进一步掌握和学习，Flink代码的编写使用的是Java，其中会涉及到Flink的很多知识点，FlinkCDC，FlinkSQL，开船，富函数等
Keven He·2022-09-23 15:09

flink-sql所有语法详解

1.版本说明本文档介绍的各种flinksql的语法基于flink-1.13.x，flink版本低于1.13.x的用户，在sql运行出错误时，需要自行去flink官网查看对应版本的语法支持。
普通网友·2022-09-12 21:10

Flink保姆级教程，超全五万字，学习与面试收藏这一篇就够了

本文目录：一、Flink简介二、Flink部署及启动三、Flink运行架构四、Flink算子大全五、流处理中的Time与Window六、Flink状态管理七、Flink容错八、FlinkSQL九、FlinkCEP
数据人生coding·2022-09-08 10:19

Flink 使用之操作 Hudi 表

本篇重点介绍FlinkSQL结合Hudi的使用方法。Hudi表使用FlinkSQL操作，为了便于业务人员使用，我们为其提供Zeppelin，能够以可视化的方式编写并执行Fli
AlienPaul·2022-09-05 10:36

【Flink SQL】如何解析和校验 Flink SQL

1.flinksql解析方法1：直接创建flinksqlparser解析多行sqlorg.apache.flinkflink-sql-parser1.12.3SqlParsersqlParser=SqlParser.create
熊本极客·2022-08-16 21:02

（8）FlinkSQL自定义UDF

Flink提供了自定义函数的基础能力，在需要满足特殊业务场景需求时，根据自身需要按需定制自己的UDF下面将简单演示一个UDF的定义和UDF的使用过程：（1）定义一个UDFpackagecom.udf;importorg.apache.flink.table.functions.ScalarFunction;/***Createdbyljon2022-07-25.*/publicclassTestU
·2022-08-08 14:07

（7）FlinkSQL将kafka数据写入到mysql方式二

publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);StreamTableEnvironmenttableEnv=StreamTableEnv
·2022-08-08 14:36

（6）FlinkSQL将kafka数据写入到mysql方式一

这里不展开zookeeper、kafka安装配置（1）首先需要启动zookeeper和kafka（2）定义一个kafka生产者packagecom.producers;importcom.alibaba.fastjson.JSONObject;importcom.pojo.Event;importcom.pojo.WaterSensor;importorg.apache.kafka.clients
·2022-08-08 14:36

（5）FlinkSQL将socket数据写入到mysql方式二

publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);StreamTableEnvironmenttableEnv=StreamTableEnv
·2022-08-08 13:31

（4）FlinkSQL将socket数据写入到mysql方式一

本章节主要演示从socket接收数据，通过滚动窗口每30秒运算一次窗口数据，然后将结果写入Mysql数据库（1）准备一个实体对象，消息对象packagecom.pojo;importjava.io.Serializable;/**Createdbyljon2022-07-05.*/publicclassWaterSensorimplementsSerializable{privateStringi
·2022-08-08 12:01

（3）FlinkSQL滑动窗口demo演示

滑动窗口（SlidingWindows）与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾相接的，而是可以“错开”一定的位置。如果看作一个窗口的运动，那么就像是向前小步“滑动”一样。定义滑动窗口的参数有两个：除去窗口大小（windowsize）之外，还有一个滑动步长（windowslide），代表窗口计算的频率。demo演示：场景：接收通过socket发送过来的数据，定义一个1
·2022-08-08 12:00

（1）通过FlinkSQL将数据写入mysql demo

FlinkSQL的出现，极大程度上降低了Flink的编程门槛，更加容易理解和掌握使用。今天将自己的笔记分享出来，希望能帮助在这方面有需要的朋友。
·2022-08-08 12:30

（2）FlinkSQL滚动窗口demo演示

滚动窗口（TumblingWindows）滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（windowsize）。demo演示：场景：接收通过socket发送过来的数据，每30秒触发一次窗口计算逻辑（1）准备一个实体对象，消息对象packagecom
·2022-08-08 12:30

【大数据之实时计算框架】Flink各种原理及学习思路整理

截止到目前flink已经更新到1.131.12版本已经实现了sql的批流统一，和hive有了较好的交互1.10之前的版本与之后相差较大，尤其是内存模型、flinktable和flinksql部分、提交脚本和参数设置也略有不同
Vivi_static·2022-08-02 09:30

Flink CDC 系列（10）—— MySQL 数据入湖 Hudi

系列文章：《FlinkCDC系列（1）——什么是FlinkCDC》《FlinkCDC系列（2）——FlinkCDC源码编译》《FlinkCDC系列（3）——FlinkCDCMySQLConnector与FlinkSQL
白月蓝山·2022-07-29 10:33

Flink SQL 在快手的扩展和实践

主要内容包括：FlinkSQL在快手功能扩展性能优化稳定性提升未来展望Tips：点击「阅读原文」查看原文视频&演讲PDF～一、FlinkSQL在快手经过一年多的推广，快手内部用户对FlinkSQL的认可度逐渐提高
小晨说数据·2022-07-29 10:26

flink实战--flinkSQL数据写入hudi

关注微信公众号【BigData512】,了解更多大数据技术，还有免费资料等你哦简介ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics集成了Hudi服务高效的数据MERGE（UPDATE/DELETE）场景，ApacheFlink作为目前最流行的流计算框架，在流式计算场景有天然的优势，当前，Flink社区也在积极拥抱Hudi社区，发挥自身streaming写/读
阿华田512·2022-07-29 10:25

Flink SQL 连接hive

最近在调研flinksql连接hive，初次使用踩了许多坑，记录一下。首先idea运行需要Windows上安装Hadoop环境，并配置好环境变量，否则报$HADOOP_HOME找不到的错误。
张少凯·2022-07-21 10:00

网易游戏基于 Flink 的流式 ETL 建设

此后，业务用户才可以方便地用SQL完成大部分数据计算，包括实时的FlinkSQL和离线的Hive或Spark。图1.网易游戏
公众号:肉眼品世界·2022-07-20 22:56

网易游戏 Flink SQL 平台化实践

主要内容包括：网易游戏FlinkSQL发展历程基于模板jar的StreamflySQLv1基于SQLGateway的StreamflySQLv2未来工作点击查看直播回放&演讲PDF一、网易游戏FlinkSQL
Apache Flink·2022-07-20 22:20

网易游戏 Flink SQL 平台化实践

主要内容包括：网易游戏FlinkSQL发展历程基于模板jar的StreamflySQLv1基于SQLGateway的StreamflySQLv2未来工作点击查看直播回放&演讲PDF一、网易游戏FlinkSQL
·2022-07-19 17:39

用Flink SQL流化市场数据2：盘中风险价值

本文是一个由多部分组成的系列文章的第二篇，该系列文章展示了FlinkSQL应用于市场数据的功能和可表达性。万一您错过了它，第一部分从计算流VWAP的简单情况开始。
·2022-07-15 21:00

FlinkSQL平台化之路-StreamX提交源码剖析

前言背景在公司里做实时计算开发,之前大部分job都采用的是基于java的streaming编程方式进行的,这样的好处很明显:足够灵活,可以应对各种复杂的实时分析场景,但缺点也很明显:上手存在门槛,需要懂code,如果是一个逻辑简单的计算需求,用code整体编写起来的方式,会让整个流程也略显笨重…于是我开始想,目前的公司流式开发的流程也趋于稳定了,而对于后续接近来的需求,如果可以用SQL解决,就尽可
darkness0604·2022-07-15 11:42

1.30.Flink SQL案例将Kafka数据写入hive

1.30.FlinkSQL案例将Kafka数据写入hive1.30.1.1.场景，环境，配置准备1.30.1.2.案例代码1.30.1.2.1.编写pom.xml文件1.30.1.2.2.Maven工程
to.to·2022-07-11 09:24

FlinkSQL 之乱序问题

乱序问题在业务编写FlinkSQL时，非常常见的就是乱序相关问题，在出现问题时，非常难以排查，且无法稳定复现，这样无论是业务方，还是平台方，都处于一种非常尴尬的地步。
Hackergin·2022-06-09 23:00

基于 FlinkSQL 构建流批一体准实时数仓

百度安全验证https://baijiahao.baidu.com/s?id=1693281284582715430&wfr=spider&for=pc一、背景基于Hive的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外搭建基于Flink的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套
四月天03·2022-05-17 11:16

基于streamx闲聊flink在k8s上的部署实战

文章目录自定义构造镜像使用streamx开发flink任务自定义dockernamespace基本的配置flinksql的编写k8s模板的配置其他参数查看日志后续自定义构造镜像由于容器化易管理、易扩容等优点
大数据技术与应用实战·2022-04-13 21:32

华为云DLI Flink作业生产环境推荐配置指导

2.创建FlinkSQL作业，编写作业SQL完成后，配置【运行参数】。
·2022-04-12 09:18

华为云FusionInsight MRS FlinkSQL 复杂嵌套Json解析最佳实践

Flink作为流批一体的计算引擎，致力于提供一套SQL支持全部应用场景，FlinkSQL的实现也完全遵循AN
·2022-03-22 11:34

HoodieWriteHandle 数据写入处理

项目中使用FlinkSQL将离线数据、流数据写入Hudi，自下而上分析写hudi的流程。hudi版本0.10.0-patch。
todd5167·2022-03-19 13:37

数据平台SQL开发详解与函数使用

FlinkSQL动态表创建Kafka动态表下图为在Flink里创建kafka动态表。知道kafka的信
·2022-03-01 11:19

Flink SQL 知其所以然（三）| 自定义 redis 数据汇表（附源码）

如果想在本地测试下：在后台回复flinksql知其所以然（三）|sql自定义redis数据汇
大数据羊说·2022-02-15 23:22

Flink + kafka + FlinkSql 计算 10秒滚动窗口内 用户点击次数，之后自定义 sink To mysql

Flink+kafka流数据使用FlinkSql计算10秒滚动窗口内用户点击次数，之后自定义sinkTomysql。
生活的探路者·2022-02-15 19:59

FlinkSQL 平台

背景由于公司内部需求较多，并不想每次都写一个streaming程序，故而开始搭建flinksql平台，基于jdk1.8，flink1.12.x效果传一个sql文件给jar包，然后sql文件内的sql将自动执行
学木·2022-02-13 23:04

基于FlinkSql1.10.0 搭建实时数仓

一、数据同步方案图片.png二、技术选型2.1开源框架与阿里云架构对比分类阿里云架构开源架构数据采集DTS、DataHubcanal、flume数据传输DTS、DataHubkafka数据存储Rds、AnalyticDBMysql、HBase数据计算阿里云实时计算Flink、spark2.2Binlog数据采集CanalCanal项目地址：https://github.com/alibaba/ca
卡戎li·2022-02-13 01:38

第10讲：Flink Side OutPut 分流

的应用场景和架构模型第02讲：Flink入门程序WordCount和SQL实现第03讲：Flink的编程模型与其他框架比较第04讲：Flink常用的DataSet和DataStreamAPI第05讲：FlinkSQL
大数据技术派·2022-02-12 10:00

Flink SQL 在快手的扩展和实践

主要内容包括：FlinkSQL在快手功能扩展性能优化稳定性提升未来展望FFA2021直播回放&演讲PDF下载一、FlinkSQL在快手经过一年多的推广，快手内部用户对FlinkSQL的认可度逐渐提高，今年新增的
·2022-02-10 14:11

作业帮基于 Flink 的实时计算平台实践

在作业帮实时计算演进过程中，Flink起到了重要的作用，特别是借助于FlinkSQL极大的提高了实时任务的开发效率。
·2022-01-27 09:01

一文解析Apache Avro数据

摘要：本文将演示如果序列化生成avro数据，并使用FlinkSQL进行解析。
·2021-12-31 15:41

FlinkSQL的痛点

现在FlinkSQL可以source创建一张表,也可以sink也创建一张表然后直接aggTable1.insertInto("out");但是如果要是比如out这个表是kafka的话,或者是text的话
BABA_777·2021-12-23 18:17

Flink Sql Gateway的原理与实践

所以FlinkSQL就成了广大开发用户的最佳选择，之所以Flink推出SQLAPI，主要是因为SQL有
·2021-12-21 15:14

Flink sql入门篇-概念、初步实现

目录Flinksql入门前的概念物化视图动态表和连续查询在流上定义表连续查询更新和追加查询查询限制表到流的转换初步实现Flinksql导入依赖实现Flinksql进一步实现Flinksql，全程sqlflink
啊帅和和。·2021-11-28 16:34

Apache Flink CDC 批流融合技术原理分析

本文转载自「好未来技术」公众号，以FlinkSQL案例来介绍FlinkCDC2.0的使用，并解读CDC中的核心设计。
·2021-11-11 11:48

大数据中必须要掌握的 Flink SQL 详细剖析

FlinkSQL是Flink实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准SQL语义的开发语言。
五分钟学大数据·2021-11-05 13:00

指标统计：基于流计算 Oceanus(Flink) 实现实时 UVPV 统计

然后针对该场景做了简化，并发现使用FlinkSQL来实现这些指标的统计会更加便捷。
腾讯技术工程·2021-11-03 18:00
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他