Ambari3.0.0+BigTop3.2.0 SNAPSHOT初体验

简介

Cloudera和Hortonworks两家公司合并后，CDH、HDP也合并成了CDP，并且不再开源。市面上可用的免费开源大数据平台瞬间没有了，对于我们来说要么花钱买平台，例如CDP、华为FI、阿里EMR等等，要么用Apache原生组件自行搭建和维护平台。说实在的，两个方案都不是很友好，还是期待开源社区能提供一个集成的发行版本。

Ambari今年经历一个跌宕起伏的过程：2月项目退役->6月项目重启。重启后Amabri项目与BigTop项目进行了合作，准备共同推出新的免费开源大数据平台：Ambari还是负责集群管控，BitTop提供组件栈。目前正在开发中，进展还算可以，预计年底或者明年初就会正式发布了。

BigTop、HDP比较

序号	组件	HDP3.1.5版本	BTGTOP3.2.0版本
1	HDFS	3.1.1	3.3.4
2	YARN	3.1.1	3.3.4
3	MapReduce	3.1.1	3.3.4
4	Tez	0.9.1	0.10.1
5	Hive	3.1.0	3.1.3
6	Phoenix	5.0.0	5.1.2
7	HBase	2.0.2	2.4.13
8	Pig	0.16.0
9	Sqoop	1.4.7
10	Oozie	4.4.0	5.2.1
11	Zookeeper	3.4.6	3.5.9
12	Storm	1.2.1
13	Accumulo	1.7.0
14	Atlas	1.1.0
15	Kafka	2.0.0	2.8.1
16	Knox	1.0.0
17	Ranger	1.2.0	2.3.0
18	Spark	2.3.0	3.2.1
19	Zeppelin	0.8.0	0.10.1
20	Druid	0.12.1
21	Superset	0.23.0
22	Solr		8.11.2
23	Flink		1.15.0
24	Alluxio		2.8.0
25	GPDB		5.28.5

我整理了一下两者版本和组件的差异，由上图可见，BigTop在组件类型上抛弃了一些过时的组件，如Pig、Sqoop、Storm等；引入了一些新组件，如Flink；安全组件对比HDP有些缺失，如knox。在组件版本上，都比HDP的要新。总体来说核心组件都是有的。

安装步骤体验--和hdp几乎一致

1.操作系统的基本配置

2.内网yum源搭建

3.安装配置ambari-server

4.页面组件安装

 

 

 

 

 

 

 

 

 

 

 

 

 

管理界面体验--和hdp几乎一致

 

 

 

当前开发版小结

发现的问题

1.ranger组件无安装界面

2.安装hbase时没有phoenix安装选项

3.ambari本身自带的监控、日志搜索组件开发进展稍慢、本次没有编译和安装

总结

当前版本还在开发中，已经基本可用，功能还在不断完善，相信正式版本发布的时候，体验会更好。