大数据技术之Apache Hadoop 分布式集群搭建和部署

环境：Windows 10 VMWare Workstation 12 上两个Centos 6版本的虚拟机。

软件：SecureCRT / WinSCP。

步骤：

(1) 安装jdk。

从Oracle官网下载jdk包，解压到任意目录如/usr/local/java。

输入vi /etc/profile回车，末尾追加：

export JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH

要验证安装成功，输入java -version回车，输出是下载的版本就对了，如我的输出：

java version "1.8.0_151"
SE Runtime Environment (build 1.8.0_151-b12)
64-Bit Server VM (build 25.151-b12, mixed mode)

(2) 修改网络、主机名相关配置。

编辑Windows下C:\Windows\System32\drivers\etc\hosts文件。假定两台主机名分别为host1/host2，IP分别为IP1/IP2，那么需要在hosts文件末尾追加：

IP1        host1

IP2        host2

分别进入两台虚拟机修改主机名。以host1为例，执行vi /etc/sysconfig/network，设定HOSTNAME=host1，执行写入；然后执行vi /etc/hosts，末尾追加两行

IP1        host1

IP2        host2

执行写入。重新启动Centos，发现登陆时主机名已经变更。

设置NAT联网。设置虚拟机的网络适配器使用NAT模式。

获取vmnet8适配器IP地址。从Windows主机查看vmnet8适配器IP，位置是设置->网络和Internet->以太网->VMware Network Adapter VMnet8。

设置虚拟机网络。进入Centos图形化界面，上方任务栏有个网络图标，右键单击选Edit Connections，选择System eth0并单击Edit，进行网络配置。设置IPv4连接方式为手动、地址为自定义、掩码为255.255.255.0，网关和DNS服务器为vmnet8适配器IP地址。

重启网络服务。在虚拟机中执行service network restart，重启网络，此时应该通过SecureCRT/Putty等工具连接到虚拟机了。

(3) 配置SSH无密码登录。

host1/host2中生成公钥。执行ssh-keygen -t rsa，会在~/.ssh/生成两个文件id_rsa/id_rsa.pub分别对应私钥和公钥。

将host1的公钥发送到host2。在host1输入cd ~/.ssh/回车，执行cat id_rsa.pub > authorized_keys，执行scp authorized_keys host2:~/.ssh/authorized_keys_new，按照提示输入密码。

在host2合并公钥。输入cd ~/.ssh/回车，执行cat authorized_keys_new >> authorized_keys，然后删除刚才收到的文件rm -f authorized_keys_new。

将host2的authorized_keys发送到host1。在host2执行scp authorized_keys host1:~/.ssh/，按照提示输入密码，完成发送。

配置结束，可以输入ssh host1/host2进行测试了，如果无需密码即可登录表示配置成功了。

(4) 部署Apache Hadoop集群。

从Hadoop 官网下载hadoop-2.7.5.tar.gz。使用WinSCP发送到两台虚拟机中。

使用tar -zxvf 命令解压文件到/usr/local/hadoop路径下，然后键入cd /usr/local/hadoop/etc/hadoop回车，准备配置Hadoop集群。集群内各主机配置应当保持一致，首先对master进行配置。

配置hadoop-env.sh。vi hadoop-env.sh，在末尾追加以下变量。

export JAVA_HOME=/usr/local/java/
export HADOOP_PID_DIR=/usr/local/hadoop/piddir/

配置core-site.xml。vi core-site.xml，在configuration标签中加入以下属性：

 
  fs.defaultFS
  hdfs://192.168.137.200:9000
 
 
  io.file.buffer.size
  131072
 

 
  hadoop.tmp.dir
  /usr/local/hadoop/tmpdir
 

配置hdfs-site.xml。vi hdfs-site.xml，在configuration标签中加入以下属性：

 
 
  dfs.namenode.name.dir
  file:///usr/local/hadoop/dir_namenode
 
 
  dfs.hosts
  /usr/local/hadoop/etc/hadoop/dfs.hosts.conf
 
 
  dfs.blocksize
  268435456
 
 
  dfs.namenode.handler.count
  100
 
 
 
  dfs.datanode.data.dir
  file:///usr/local/hadoop/dir_datanode
 

 
  dfs.http.address
  192.168.137.200:9008
 
 
  dfs.namenode.secondary.http-address
  192.168.137.201:9008
 

配置yarn-site.xml。加入以下属性：

 
 
  yarn.acl.enable
  false
 
 
  yarn.admin.acl
  *
 
 
  yarn.log-aggregation-enable
  false
 
 
 
 
  yarn.resourcemanager.address
  192.168.137.200:9001
 
 
  yarn.resourcemanager.scheduler.address
  192.168.137.200:9002
 
 
  yarn.resourcemanager.resource-tracker.address
  192.168.137.200:9003
 
 
  yarn.resourcemanager.admin.address
  192.168.137.200:9004
 
 
  yarn.resourcemanager.webapp.address
  192.168.137.200:9005
 
 
  yarn.resourcemanager.hostname
  192.168.137.200
 
 
  yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
 
 
 
  yarn.scheduler.minimum-allocation-mb
  256
 
 
  yarn.scheduler.maximum-allocation-mb
  768
 

 
 
  yarn.nodemanager.resource.memory-mb
  768
 
 
  yarn.nodemanager.local-dirs
  file:///usr/local/hadoop/dir_yarn_nodemanager/localdir1,file:///usr/local/hadoop/dir_yarn_nodemanager/localdir2,file:///usr/local/hadoop/dir_yarn_nodemanager/localdir3 
 
 
  yarn.nodemanager.log-dirs
  file:///usr/local/hadoop/dir_yarn_nodemanager/logdir1,file:///usr/local/hadoop/dir_yarn/nodemanager/logdir2,file:///usr/local/hadoop/dir_yarn_nodemanager/logdir3
 
 
  yarn.nodemanager.log.retain-seconds
  10800
 
 
  yarn.nodemanager.aux-services
  mapreduce_shuffle
 

配置mapred-site.xml。加入以下属性：

 
  mapreduce.framework.name
  yarn
 
 
  mapreduce.map.memory.mb
  768
 
 
  mapreduce.map.java.opts
  -Xmx768M
 
 
  mapreduce.reduce.memory.mb
  768
 
 
  mapreduce.reduce.java.opts
  -Xmx768M
 
 
  mapreduce.task.io.sort.mb
  512
 
 
  mapreduce.task.io.sort.factor
  100
 
 
  mapreduce.reduce.shuffle.parallelcopies
  50
 
 
  mapreduce.jobhistory.address
  192.168.137.200:9006
 
 
  mapreduce.jobhistory.webapp.address
  192.168.137.200:9007
 
 
  mapreduce.jobhistory.intermediate-done-dir
  file:///usr/local/hadoop/mr-history/tmp
 
 
  mapreduce.jobhistory.done-dir
  file:///usr/local/hadoop/mr-history/done
 

master配置完成后，将配置文件通过scp命令发送到datanode主机中，确保集群内配置一致，这样Hadoop集群已经完成配置。

(5) 启动Hadoop集群。

初次启动要进行一次格式化。切换到/usr/local/hadoop目录下，执行bin/hdfs namenode -format 指令。如果格式化出现问题需要重新格式化，应当先将hdfs-site.xml中指定的dfs.name.dir/dfs.data.dir以及core-site.xml中指定的hadoop.tmp.dir目录全部删除。

格式化完成后，执行指令sbin/start-all.sh即可启动集群。