浅议Flink中TaskManager的内存模型

本文将初步探讨Flink作业中TaskManager(TM)的内存作用和使用情况,旨在了解TM的内存管理。

一、TaskManager中线程/进程概念

TaskManager是一个JVM进程,每个slot上运行的SubTask均为一个线程。

以下是一个简单的WordCount作业示例:

public class WordCount {
  public static void main(String[] args) throws Exception {
    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    DataStream source = env.addSource(new UserDefinedSource()).setParallelism(2);  
                     
    DataStream > wcStream
                                = source.flatMap(
                                                  new FlatMapFunction>() {
                                                      @Override
                                                      public void flatMap(String value, Collector

你可能感兴趣的:(flink,大数据)