大数据生态圈技术整理

组件类型 (本文还未写完)

文件系统

• HDFS

调度系统

• Oozie
• Azkaban
• Airflow

管理系统

• Zookeeper
• YARN
• Ambari
• Cloudera Manager
• Hue

数据存储

• HDFS
• HBase
• CarbonData
• Accumulo

消息系统

• Kafka
• RabbitMQ
• ActiveMQ

数据收集

• Logstash
• Flume
• NIFI
• Fluentd

数据处理

• Spark
• Spark Streaming
• Storm
• Flink

数据同步

• Sqoop
• NIFI
• DataX
• Distcp

数据血缘

• Atlas
• Falcon

查询引擎

• Phoenix
• Hive
• Pig
• SparkSQL
• Solr
• Elasticsearch
• Impala (以下为实时查询引擎)
• Shark
• Druid
• Drill
• Presto
• Stinger

分析报告

• Kylin
• Zeppelin
• Superset
• Cboard
• Druid

机器学习

• Tensorflow
• Mahout
• Keras
• Theano
• DSSTNE

大数据集群安全

• Kerberos
• Ranger
• Sentry
• Knox

账号统一(多租户)

• FreeIPA
• OpenLdap
• ApacheAD

hadoop 组件.jpg

组件介绍

• HDFS
  1、组件简介

Hadopp 分布式文件系统(HDFS)通常被认为是Hadoop 生态系统中其余部分的基础。

2、运行原理
3、适用场景
4、性能优化
5、坑与埋坑

• Oozie
• Azkaban
• Zookeeper
• YARN
  集群资源调度器, 提供集群计算资源(CPU、内存) 资源的集中管控和调度, 提供任务进度的集中管控, 支持多种分布式计算框架, 含 Spark、MapReduce、Tez 、Impala等, 可以有效提升集群机器资料利用率。
  1、组件介绍(RM、NM、JHS为缩写)

ResourceManager:  RM 守护进程负责处理应用提交请求，分配ApplicationMaster任务，以及执行资源管理策略。
JobHistory Server：JHS 负责跟踪在Yarn上运行的所有作业历史，包括运行时间、任务数量、写入HDFS的数据量等作业的度量。
NodeManager： NM 守护进程负责执行Yarn容器(container) 中作业的各个任务，每个任务由虚拟内核(CPU资源)和RAM资源组成，并可以按照各自需要申请一定数量的虚拟内核和内存，其最小值，最大值和增幅有RM 定义。每个任务作为独立的进程在各自的JVM中运行。
              NM 的一个重要作用是，启动名为ApplicationMaster的特殊任务，该任务负责管理指定应用的所有任务状态。Yarn将资源管理和任务管理区分开，这样每个作业都能执行各自的ApplicationMaster，从而能够在大型集群中更好的扩展Yarn应用。

• Ambari
• Cloudera Manager
• Hue
• HBase
• CarbonData
• Kafka
• RabbitMQ
• ActiveMQ
• Logstash
• Flume
• NIFI
• Fluentd
• Spark
• Spark Stream
• Storm
• Flink
• Sqoop
• NIFI
• DataX
• Distcp
• Phoenix
• Hive
  Apache Hive 项目最早是由Facebook发起，其发现分析人员缺乏Java编程技能，导致MapReduce框架适用性大打折扣。但大部分分析人员具有SQL技能，因此Facebook发起了Hive项目，使用MapReduce作为执行引擎的SQL抽象层。Hive 主要由Metastore、HiveServer2、Metastore Server、HCatalog组成。

Metastore: Metastore 数据库是一个包含所有Hive元数据(如：表、库、列、数据类型等信息)的关系型数据库。这种信息在访问HDFS时将数据结构化，也被称为“读模式”(schema on read)。
Metastore Server: Hive Metastor Server 是处于Hive客户端和Metastore数据库之间的一个守护进程，它提供了一个安全层，用于防止客户端拥有HiveMetastore的数据凭证。
HiveServer2: HiveServer2 是客户端使用Hive的主入口。HiveServer2 兼容JDBC和ODBC客户端。
HCatalog:  HCatalog 是一系列帮助非Hive框架访问Hive元数据的库，例如Pig用户可以用HCatalog读取与HDFS中给定目录相关的模式信息。WebHCat Server 是一个向客户端提供REST接口的守护进程，使客户端能够访问HCatalog的api。

• Pig
• SparkSQL
• Solr
• Elasticsearch
• Impala
• Shark
• Druid
• Drill
• Presto
• Stinger
• Kylin
• Zeppelin
• Superset
• Cboard
• Druid
• Tensorflow
• Mahout
• Keras
• Theano
• DSSTNE