浅谈Hadoop

目前业界内最流行的大数据架构体系就是hadoop的生态系统。目前，包括Yahoo、IBM、Facebook、亚马逊、阿里巴巴、华为、百度、腾讯等公司，都采用Hadoop构建自己的大数据系统，当然，是在Hadoop的基础上进行二次开发。

Hadoop生态系统是指以大数据分布式存储(HDFS)，分布式计算(MapReduce)和资源调度(YARN)为基础联合其他各种组件在内的一整套软件。Hadoop生态系统的每一个子系统只解决某一个特定的问题域。不是一个全能系统，而是多个小而精的系统。

简单介绍Hadoop生态系统的主要构成组件：

HDFS: 基础的文件系统，Hadoop分布式文件系统

MapReduce：并行计算框架，运行在Yarn之上

HBase: 类似Google BigTable的分布式NoSQL列分布式数据库。适用于实时快速查询的场景。

Hive：数据仓库工具。处理的是海量结构化日志数据的统计问题。可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Zookeeper：分布式协调服务，“动物园管理员”角色，是一个对集群服务进行管理的框架，主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度。

Pig: 一个基于Hadoop的大规模数据分析工具，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。

Sqoop：在Hadoop与传统的数据库间进行数据的传递。

Mahout：一个可扩展的机器学习和数据挖掘库，实现了很多数据挖掘的经典算法，帮助用户很方便地创建应用程序。

Oozie：一个工作流调度引擎，用来处理具有依赖关系的作业调度。

Flume：日志收集框架。将多种应用服务器上的日志，统一收集到HDFS上，这样就可以使用hadoop进行处理

————————————————