Nifi 安装单机版与简单使用

nfifi简介

在Apache NiFi官网上，是这么介绍NiFi的：“一个易用、强大、可靠的数据处理与分发系统”。Apache NiFi的设计目标是自动化管理系统间的数据流。

NiFi之前是在美国国家安全局（NSA）开发和使用了8年的一个可视化、可定制的数据集成产品。2014年NSA将其贡献给了Apache开源社区，2015年7月成功成为Apache顶级项目。
nifi是一个基于web-ui用户界面，高度可配置的、安全的、基于工作流设计理念、具有很强交互性的、强大易用的、为不同系统间或者系统内的提供数据流管理与处理的系统。

单机版安装

采用maven编译的方式安装

1、安装git
可以使用Centos7上面自带的git。

2、安装maven，版本至少3.1.0以上
注意配置阿里云Maven镜像，不然编译的时候很慢。
3、Checking out from Git，从git中克隆源码
命令：git clone https://git-wip-us.apache.org/repos/asf/nifi.git
4、安装
（1）nifi 1.x以上需要jdk8以上，0.x需jdk7以上
（2）Maven需要至少3.1.0以上版本
（3）有些构建步骤比较耗内存，确保MAVEN_OPTS提供足够的内存，可在环境变量中加入export MAVEN_OPTS=”-Xms1024m -Xmx3076m -XX:MaxPermSize=256m”，具体多大根据自己的实际情况来配置。
（4）构建完整的代码库。在源码树运行的根目录中如下命令：
mvn -T C2.0 clean package -Pinclude-grpc -DskipTests
（5）编译完之后在nifi-assembly/target目录下包含解压缩的文件，可以在bin目录下运行启动nifi， ./nifi.sh start
（6）然后访问http://主机:8080/nifi/，可在ui界面上玩了。
注：8080是nifi默认端口，如果有冲突，可在nifi.properties中修改端口号。

简单使用

nifi核心术语

FlowFile

一个FlowFile代表每个被系统处理的数据对象，一个FlowFile由两部分组成：属性和内容。内容是数据本身，属性是与数据相关的key-value的键值对，用于描述数据

FlowFileProcessor

Processor是NiFi的组件，可以用来创建、发送、接受、转换、路由、割裂、合并、处理FlowFiles。在用户建立数据流时，Processor是最重要的组成部分，可以将操作结果提交给下一个Processor或者回滚。

Connection

提供Processors之间的连接，用来定义Processors之间的执行关系，并允许不同Processors之间以不同的速度进行交互。

Flow Controller

控制器，它记录processor之间的连接关系，管理线程，管理processor和线程之间的使用关系。是一个类似broker的角色。

Processgroup

它表示一组processor和它们之间的连接。对于这个group而言，它可以通过input端口和output端口，进行数据的接收和发送。

实例

在FTP服务器上有一个txt的压缩文件，内容为：
　　　　　　　
使用nifi从FTP上获取此文件，将其解压，并将M替换为“男”，F替换为“女”，并将处理后的txt文件put到HDFS。

在nifi的web-ui上通过拖拽的方式将Processor拖拽到画布上进行配置，对于nifi的processor的配置说明可参考官网nifi官方文档。

要实现以上功能需要5个processor，相关配置如下：
1.GetFTP，负责从FTP的特定路径下获取文件，并创建FlowFile供后续处理，具体配置如下：

File Filter Regex属性可以配置要处理文件名的正则表达式，从而起到筛选文件的作用。
2. CompressContent，负责压缩或解压FlowFile的内容，具体配置如下：

3.ReplaceText，通过定义正则表达式，可对正则表达式匹配到的内容进行替换，从而起到对FlowFile内容进行修改的作用。此ReplaceText将FlowFile内容中的M替换成文字“男”。具体配置如下：

4. ReplaceText，与上一个Processor是同一个类型，将FlowFile内容中的F替换成文字“女”。
5. PutHDFS，负责将FlowFile以文件形式存放到HDFS的中。具体配置如下：

经过上诉的几个处理流程后，之前在FTP上的txt压缩文件已经被解压、字符替换，并Put到HDFS的特定路径下了。经过处理后的文件如下：
　　　　　
这样一个简单的ETL就实现了，是不是很简单，nifi中内置了很多的处理器，大家可以自己去玩，flowFile也可以直接输出到数据库或者hive中，后面会写一篇flowfile输出到hive的文章。