hadoop-2.6.0-cdh5.14.2在Linux下的伪分布安装和分布式集群安装

平台：    Linux系统

所需安装软件：

1、必须安装Java，推荐的Java版本在HadoopJavaVersions

2、必须安装ssh，并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。

下载软件：

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

上传：

securecrt 按下ALT+P就开启新的会话 进行ftp操作。

lpwd: 查询本地目录

pwd:  查询linux主机所在目录

put hadoop-2.6.0-cdh5.7.0.tar.gz

解压：

tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /home/hadoop/appscd hadoop-2.6.0-cdh5.7.0

cd /home/hadoop/apps/hadoop-2.6.0-cdh5.14.2/etc/hadoop

伪分布式模式安装:

编辑文件etc / hadoop / hadoop-env.sh来定义一些参数
  ＃设置为Java安装的根目录

export JAVA_HOME=/usr/local/soft/jdk1.8.0_73 

修改 core-site.xml：

     
         hadoop.tmp.dir
         /home/hadoop/hadoopdata
         Abase for other temporary directories.
     
     
     fs.defaultFS
     hdfs://hadoop01:9000
     

修改 slaves：

hadoop01

添加 hadoop 环境变量：

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

格式化 namenode：

[hadoop@hadoop01 ~]$ hadoop namenode -format

启动 hdfs：

start-dfs.sh

启动 yarn:

start-yarn.sh

检查集群启动是否成功:

1、 利用 jps 工具检测各进程是否启动成功

2、 Web UI 查看HDFS：http://hadoop01:50070/

    MapReduce：http://hadoop01:8088/cluster/cluster

分布式集群安装:

修改 hadoop-env.sh:

export JAVA_HOME=/usr/java/jdk1.8.0_73

修改 core-site.xml:

     fs.defaultFS
     hdfs://hadoop01:9000


     hadoop.tmp.dir
     /home/hadoop/hadoopdata

修改 hdfs-site.xml:

     dfs.namenode.name.dir
     /home/hadoop/hadoopdata/name


     dfs.datanode.data.dir
     /home/hadoop/hadoopdata/data


     dfs.replication
     2 


     dfs.secondary.http.address
     hadoop02:50090

修改 mapred-site.xml（集群只有 mapred-site.xml.template，可以从这个文件进行复制，或者直接改名也可）:

     mapreduce.framework.name
     yarn

修改 yarn-site.xml:

     yarn.resourcemanager.hostname
     hadoop02


     yarn.nodemanager.aux-services
     mapreduce_shuffle

修改 slaves 文件:

 hadoop02
 hadoop03
 hadoop04

分发安装包到各个节点，Hadoop 集群的每个节点都需要安装 Hadoop 安装包:

scp -r hadoop-2.6.0-cdh5.14.2 hadoop02:$PWD
scp -r hadoop-2.6.0-cdh5.14.2 hadoop03:$PWD

分别添加 hadoop 环境变量：

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在 HDFS 主节点上执行命令进行初始化 namenode:

hadoop namenode -format

启动 hdfs：

start-dfs.sh

启动 yarn:

start-yarn.sh

检查集群启动是否成功:

1、 利用 jps 工具检测各进程是否启动成功

2、 Web UI 查看HDFS：http://hadoop01:50070/

    MapReduce：http://hadoop01:8088/cluster/cluster

测试集群是否安装成功：

 1、检测 hdfs 是否启动成功
     hadoop fs -ls /
 2、检测 yarn 集群是否启动成功（提交 mapreduce 例子程序试跑）
    hadoop jar hadoop-mapreduce-examples-2.6.4.jar pi 5 5

补充说明：

 1、启动 namenode 或者 datenode
     sbin/hadoop-daemon.sh start datanode
     sbin/hadoop-daemon.sh start namenode
 2、启动 yarn nodemanager
     sbin/yarn-daemon.sh start nodemanager
     sbin/yarn-daemon.sh start resourcemanager
 3、hdfs 集群信息 web 管理界面地址
     http://hadoop01:50070
 4、mapreduce 运行状态信息 web 管理界面
     http://hadoop02:8088
 5、查看集群状态
     hadoop dfsadmin -report
     hdfs dfsadmin -report（推荐用这个）

参考文档：http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-project-dist/hadoop-common/SingleCluster.html