20200916 001_Flink-快速上手（简单Demo代码实现）

20200916 001_Flink-快速上手（简单Demo代码实现）

IDE：IDEA

Flink:1.10.1

scala：flink-scala_2.12.1.10.1

 

第二章 快速上手

 

2.1 搭建 maven 工程

2.1.1 pom 文件

    4.0.0

    com.atguigu
    FlinkTutorial
    1.0-SNAPSHOT

    
        
            org.apache.flink
            flink-scala_2.12
            1.10.1
        
        
        
            org.apache.flink
            flink-streaming-scala_2.12
            1.10.1
        
        
            org.apache.flink
            flink-connector-kafka-0.11_2.12
            1.10.1
        
        
            org.apache.bahir
            flink-connector-redis_2.11
            1.0
            
                
                    org.apache.flink
                    flink-streaming-java_2.11
                
            
        
    
    
        
            
            
                net.alchim31.maven
                scala-maven-plugin
                4.4.0
                
                    
                        
                        
                            compile
                        
                    
                
            
            
                org.apache.maven.plugins
                maven-assembly-plugin
                3.3.0
                
                    
                        jar-with-dependencies
                    
                
                
                    
                        make-assembly
                        package
                        
                            single
                        
                    
                
            
        
    

2.2 Demo1: 批处理的WordCount程序

import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.api.scala._
//批处理的WordCount程序
object WordCount {
  def main(args: Array[String]): Unit = {
    // 创建一个批处理执行环境
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment

    // 从文件中读取数据
    val inputPath: String = "D:\\software\\CODE\\FlinkCode\\FlinkTutorial\\src\\main\\resources\\hello.txt"
    val inputDataSet: DataSet[String]  = env.readTextFile(inputPath)

    // 对数据进行转换处理统计, 先分词，再按照word进行分组最后进行聚合统计
    // ()元组类型
    //
    val resultDataSet: DataSet[(String, Int)] = inputDataSet
      .flatMap(_.split(" "))// flatMap传一个function，
      .map((_, 1))//map成一个二元组，来一个word 就统计它的值是1
      .groupBy(0)  //下标是以0为起始地址：以第一个元素作为key，进行分组
      .sum(1)       //1、传stirng类型，字段名称；2、传int类型，字段下标位置：对当前分组的所有数据的第二个元素求和

    // 打印输出
    resultDataSet.print()
  }
}

2.3 Demo2: 流处理WordCount程序

import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala._

//流处理WordCount
object StreamWordCount {
  def main(args: Array[String]): Unit = {
    // 创建流处理的执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
//    env.setParallelism(20) //配置执行环境 并行度

    // 从外部命令中提取参数， 作为socket主机名和端口号
    val paramTool: ParameterTool = ParameterTool.fromArgs(args);
    val host: String = paramTool.get("host")
    val port: Int = paramTool.getInt("port")

    // 接收一个socket文本流 "192.168.110.100"7777
    val inputDataStream: DataStream[String] = env.socketTextStream(host, port)

    // 进行转换处理统计
    // 后面那些.方法名 都是 算子
    // 可以给 每一个算子都设置一个并行度
    val resultDataStream: DataStream[(String, Int)] = inputDataStream
      .flatMap(_.split(" "))    // flatMap传一个function，
      .filter(_.nonEmpty)               // 过滤不为空
      .map((_, 1))                      // 当前元素计数为1
      .keyBy(0)                 // 分组，相当于分区
      .sum(1)                 // 对当前分组的所有数据的第二个元素叠加

    resultDataStream.print().setParallelism(1)// 单独给这个print() 设置并行度 .setParallelism(1) 打印就没有前面的序号了

    // 以上都是定义了一个任务，并没有执行
    // 流处理 是事件驱动，等着数据来，然后再进行以上的数据处理
    // 启动任务执行
    env.execute("stream word count")
  }
}

//从外部命令中提取参数， 作为socket主机名和端口号

Run-》Edit Configurations 配置一下Program arguments：如下

 

 

分布式架构，可能会带来数据乱序的问题