安装JDK

1.下载jdk linux

2.执行命令: 

chmod +x jdk.bin(赋予文件可执行的权限) 

./jdk.bin （解压文件）

修改HOST

1.修改文件/etc/hosts，添加以下内容 

10.196.142.28 master 

10.196.142.29 slave1 

10.196.142.30 slave2 

(IP地址根据实际情况修改，对应机器数量添加条数)

2.修改所有机器上的文件 

SSH配置

1. 在master结点操作，使用root用户登录（初次学习配置分布式建议使用root可以避免很多权限问题）   

cd ~/.ssh/ （非root用户可能没有此文件夹，忽略提示完成下一步后再次执行此命令） 

ssh-keygen -t rsa（生成公钥密钥,一路回车，直到出现图像）   

cp id_rsa.pub authorized_keys   

scp authorized_keys root@slave1:~/.ssh/  （拷贝到所有slave,注意当前路径是否正确）   

ssh localhost (第一次需要输入yes和密码)   

ssh slave1 (连接slave结点，第一次需要输入yes和密码)  

2. 在slave结点操作，使用root用户登录   

cd ~/.ssh/   

ssh-keygen -t rsa（生成公钥密钥,一路回车，直到出现图像）   

ssh master (必须连接master一次，不然启动的时候master结点不能收到回复)

配置Hadoop

1.下载Hadoop压缩包解压（http://www.apache.org/dyn/closer.cgi/hadoop/common/）

2.修改conf/hadoop-env.sh，添加jdk支持   

export JAVA_HOME=/usr/local/jdk  

3.配置conf/core-site.xml

  fs.default.name           

  hdfs://master:9000    

          

  hadoop.tmp.dir           

  /home/hadoop/data/tmp  


4.配置conf/hdfs-site.xml

        

dfs.name.dir         

/home/hadoop/data/hdfs/name

        

dfs.data.dir       

/home/hadoop/data/hdfs/data

 

dfs.replication  

1

  

 

5.配置conf/mapred-site.xml

 

  mapred.job.tracker 

  master:9001  

 

 
6.配置conf/master
  master
  配置conf/slave
  slave1
  slave2
 
 

7.拷贝hadoop目录到所有结点相同目录下
 

 
 

 

配置环境变量

1.修改/etc/profile： 

export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/data/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 

  
启动Hadoop

1.bin/hadoop namenode –format （格式化hadoop数据）

2.bin/start-all.sh

简单使用Hadoop

建立目录 

root@master:/data/soft/hadoop # bin/hadoop dfs -mkdir testdir

查看现有文件 

root@master:/data/soft/hadoop # bin/hadoop dfs -ls