基于Flink的用户行为实时数据分析,安装本地模式

Flink开源的分布式,高可用,高性能的框架和分布式处理引擎,支持流数据处理和批处理

二、为什么要使用Flink(特点)

高可用

批处理和流处理

高吞吐和低延迟

结果的准确性和良好的容错性

能够快速真实反映出生活

总的来说就是能够适应当下的发展

三、Flink中的重要角色

jobmanager:用于协调分布式执行,负责资源申请,任务分发,任务调度执行等

taskmanager:负责执行任务

基于Flink的用户行为实时数据分析,安装本地模式_第1张图片

 四、Flink的三种模式

Local本地模式:少用

Standalone独立模式:资源管理由flink集群管理

Flink on Yarn:企业使用最多,资源管理由Yarn来管理

五、安装本地模式

1.下载

官网下载

基于Flink的用户行为实时数据分析,安装本地模式_第2张图片

基于Flink的用户行为实时数据分析,安装本地模式_第3张图片

提供的网盘下载

提取码: qcqf

2.上传至linux系统并解压

基于Flink的用户行为实时数据分析,安装本地模式_第4张图片

 解压Flink到当前目录

基于Flink的用户行为实时数据分析,安装本地模式_第5张图片

查看进程

基于Flink的用户行为实时数据分析,安装本地模式_第6张图片

 web端访问:

基于Flink的用户行为实时数据分析,安装本地模式_第7张图片

六、测试-使用Flink内置jar程序统计一个文件中每个单词出现的次数

基于Flink的用户行为实时数据分析,安装本地模式_第8张图片

基于Flink的用户行为实时数据分析,安装本地模式_第9张图片

计算:

输出路径应不存在,否则会报错

基于Flink的用户行为实时数据分析,安装本地模式_第10张图片

基于Flink的用户行为实时数据分析,安装本地模式_第11张图片

如果出现错误The main method caused an error: java.util.concurrent.ExecutionException: java.lang.RuntimeException: org.apache.flink.runtime.client.JobInitializationException: Could not start the JobMaster,就重新启动Flink

 

 

 

 

你可能感兴趣的:(flink,flink,大数据,hadoop)