Hortonworks进军物联网，发布基于Apache NiFi项目的DataFlow产品

Hortonworks已经在不知不觉中完成了他们的DataFlow平台，这个平台基于Apache NiFi项目并准备去解决物联网（IoAT）中的数据处理需求。

Hortonworks公司在最近的一次研讨会上向石油和天然气行业的客户介绍了其DataFlow （HDF）平台。HDF（Hortonworks Data Flow）平台基于Apache NiFi项目，它是一种实时数据流处理 系统，在去年由美国安全局（NSA）开源并进入Apache社区，NiFi初始的项目名称是Niagarafiles。当NiFi项目开源之后，一些早先在NSA的开发者们创立了初创公司Onyara，Onyara随之继续NiFi项目的开发并提供相关的支持。Hortonworks公司最近收购了Onyara并将其开发者整合到自己的团队中。

因为NiFi可以对来自多种数据源的流数据进行处理，Hortonworks认为HDF平台非常适合用于物联网 (IoAT)的数据处理。HDF中的数据流动可以是多个方向，甚至是点对点的，用户可以同收集到的数据流进行交互，这种交互甚至可以延伸到数据源，比如一些传感器或是设备。按照Hortonworks公司的说法，HDF产品是对HDP产品的补充，前者主要处理移动中的数据，而后者基于Hadoop技术，主要负责从静止的数据中获取洞察。

NiFi项目在创建过程中遵循了一些理念：1）精细化管理信息流的能力；2）跟踪数据相关事件和信息的能力，比如数据从哪里来，在路径中发生了什么；3）保证控制和数据面的安全能力。NiFi的主要特性包括：

• 有保证的数据交付
• 支持背压（back-pressure）机制的数据缓冲
• 有优先级的队列
• QoS
• 数据溯源（Data provenance）：NiFi对数据流路径上的每次变化都会保留日志记录，从而保证结果的可追溯，以及数据的恢复、重播、审计和评估。
• 通过日志记录数据的历史细节
• 支持交互式命令和控制台，并对系统变化提供可视化的反馈
• 支持流模板（Flow templates）
• 支持插入式（Pluggable）/多角色（multi-role）的安全机制
• 支持对数据操作的扩展
• 支持集群管理

NiFi并非只能用于物联网，实际上，它可以用于所有种类的实时数据处理，比如预测分析、欺诈检测、大数据注入、资源评估等等。NiFi项目自身提供了90个数据处理器 （data processors），这其中包括了数据的编码、加密、压缩、转换、从数据流创建Hadoop的序列文件、同AWS交互、发送消息到Kafka、从Twitter上获取消息，以及其它等等。你可以在拖放风格的可视化界面上来配置这些数据处理器，把它们链接到一起，并在它们之间使用背压机制来进行流控。NiFi还提供了内置的自动扩展、请求复制、负载均衡和故障切换机制。

在NiFi的路标中还可以看到以下特性：对流的配置管理做进一步的提升、一个扩展和模板注册表、对Avro的优先支持、交互式队列管理、多租户的数据流，以及其它。

目前，HDF已经可以在沙箱式的环境中配合Apache Ambari进行测试验证。

查看英文原文：Hortonworks Addresses the IoAT with DataFlow Based on NiFi