Nifi流程配置: CSV >> Kafka >> Hive


Nifi流程配置: CSV >> Kafka >> Hive_第1张图片
整体流程

Processor-1: GetFile

添加GetFile Processor, 根据自身场景, 填写以下高亮配置

Nifi流程配置: CSV >> Kafka >> Hive_第2张图片
GetFile关键配置

Processor-2: PublishKafkaRecord

关键配置如下(Reader/Writer首次需要创建, 点击右箭头可打开进行具体配置)

Nifi流程配置: CSV >> Kafka >> Hive_第3张图片
PublishKafkaRecord关键配置


Nifi流程配置: CSV >> Kafka >> Hive_第4张图片
CSVReader关键配置


Nifi流程配置: CSV >> Kafka >> Hive_第5张图片
AvroSchemaRegistry

Processor-3:ConsumeKafkaRecord

关键配置如下(Reader/Writer可以直接选择已有的service或者直接创建)

Nifi流程配置: CSV >> Kafka >> Hive_第6张图片
ConsumeKafkaRecord关键配置


Nifi流程配置: CSV >> Kafka >> Hive_第7张图片
AvroReader


Processor-4:PutHive

关键配置如下

Nifi流程配置: CSV >> Kafka >> Hive_第8张图片
PutHive关键配置

你可能感兴趣的:(Nifi流程配置: CSV >> Kafka >> Hive)