大数据环境搭建hadoop，hive，spark，Python，anaconda

大数据环境搭建hadoop

对于一些想从事大数据工作的童鞋们，在自己的电脑搭建一个大数据环境是很有必要的，直接开始吧。

如何在自己的电脑搭建一个虚拟的集群环境：
1、安装虚拟机 （包括linux系统：笔者使用ubantu 16.04）
http://dblab.xmu.edu.cn/blog/2760-2/#more-2760

2、安装hadoop2.X（伪分布式） 包括java环境
（笔者使用hadoop版本：2.7.7 java版本：1.8.0_162）
http://dblab.xmu.edu.cn/blog/install-hadoop/

3、安装hive（1.X） （笔者使用：apache-hive-1.2.2-bin.tar）
http://dblab.xmu.edu.cn/blog/1080-2/

4、安装spark2.X（python版本）
（笔者使用spark版本 ，Python版本：ubantu16.04 自带Python3.5.1 ）
http://dblab.xmu.edu.cn/blog/1689-2/#more-1689

5、安装 anaconda （anaconda版本 1.7.2 自带python版本 python3.7.6）
http://dblab.xmu.edu.cn/blog/2575-2/

整套安装软件：
链接：https://pan.baidu.com/s/1kfiNmZHzO_nlMOAdF2g36g
提取码：gjj8

注：笔者整套大数据环境软件，建议直接用提供的软件，因为在实际安装过程中，很多由于版本问题，很难解决，或者是版本不匹配根本不能解决，最好不用最新的版本，最新的版本目前还有一些bug待解决。

本文全部引用厦门大学数据库实验室的博客文章
笔者亲自实现有效，笔者只是一个搬运工。这里也感谢厦门大学数据库实验室，感谢林子雨老师及其团队，推荐各位大数据初学者多关注厦门大学数据库实验室博客文章。