Hadoop集群搭建

一、Linux安装
安装master
照常安装，重新配置net连接，先选桥接模式初始化，再选net
配置网络
1）cd /etc/sysconfig/network-scripts/
	vim ifcfg-eth0 

里面内容是
EVICE="eth0"
BOOTPROTO="dhcp"
HWADDR="00:0C:29:E9:FF:BC"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="d7031a7a-8572-4588-b53d-1659a807d48a"

dhcp 是动态主机配置协议，由服务器控制一段IP地址范围，客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码
把dhcp改为static
修改为如下
CE="eth0"
BOOTPROTO="static"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.146.10
NETMASK=255.255.255.0
GATEWAY=192.168.146.2
DNS1=202.106.0.2
重启网络服务
[root@localhost Desktop]# /etc/init.d/network restart

二、创建集群
一个master主服务器，俩个子服务器slave1，slave2
需要配置slave1，slave2 IP
slave1配置网络
[badou@localhost Desktop]$ cd /etc/sysconfig/network-scripts
[root@localhost network-scripts]# vim ifcfg-eth0 
DEVICE="eth0"
BOOTPROTO="static"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.146.11
NETMASK=255.255.255.0
GATEWAY=192.168.146.2
DNS1=202.106.0.2
[root@localhost network-scripts]# /etc/init.d/network restart
slave2配置网络
同slave1，只是修改IP地址为192.168.146.12
由于复制master，所以slave1和slave2都需要重新装网卡

三、共享目录
[badou@localhost mnt]$ cd /mnt/hgfs/
拷贝
[root@localhost 虚拟机共享目录]# cp jdk-6u45-linux-x64.bin /usr/local/src
运行
[root@localhost src]# ./jdk-6u45-linux-x64.bin 
配置环境变量
[root@localhost src]# vim ~/.bashrc 
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

source的作用是用来执行一个脚本 
source a.sh 和直接执行 ./a.sh的区别： 
调用./a.sh来执行shell是在一个子shell里运行的，所以执行后，结构并没有反应到父shell里，但是source不同它就是在本shell中执行的，所以可以看到结果。 
比如你在一个脚本里export $KKK=111 ,如果你用./a.sh执行该脚本，执行完毕后，你运行 echo $KKK ,发现没有值，如果你用source来执行 ，然后再echo ,就会发现KKK=111。   

如果path配置错误
先查看echo $PATH
再赋值export PATH=/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/badou/bin:/usr/local/src/jdk1.6.0_45/bin:/usr/local/src/jdk1.6.0_45/bin

四、安装Hadoop集群
tar命令用于对文件打包压缩或解压，格式为：“tar [选项] [文件]”。
打包并压缩文件:“tar -czvf 压缩包名.tar.gz 文件名”
解压并展开压缩包:“tar -xzvf 压缩包名.tar.gz”
参数    
作用    
-c    
创建压缩文件    
-x    
解开压缩文件    
-t    
查看压缩包内有那些文件    
-z    
用Gzip压缩或解压    
-j    
用bzip2压缩或解压    
-v    
显示压缩或解压的过程    
-f    
目标文件名    
-p    
保留原始的权限与属性    
-P    
使用绝对路径来压缩    
-C    
指定解压到的目录    

解压缩
[root@localhost src]# tar xzvf hadoop-1.2.1-bin.tar.gz 
用于存放临时文件
[root@localhost hadoop-1.2.1]# mkdir tmp    
[root@localhost hadoop-1.2.1]# cd conf
[root@localhost conf]# vim masters 
修改为master
[root@localhost conf]# vim slaves
修改为slave1，slave2

[root@localhost conf]# vim core-site.xml 

		
           
                        hadoop.tmp.dir
                        /usr/local/src/hadoop-1.2.1/tmp
           
           
           
                         fs.default.name
                         hdfs://192.168.146.10:9000
            
   

[root@localhost conf]# vim mapred-site.xml                          

                   
                         mapred.job.tracker
                         http://192.168.146.10:9001
                     

[root@localhost conf]# vim hdfs-site.xml 
数据在dfs中存储的副本数

                         
                            dfs.replication
                            3

                

[root@localhost conf]# vim hadoop-env.sh 
配置Java路径
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
ls -rlt
-r：反向排序
-t：列出文件按照最后修改时间（最新的在上面）
-l：长格式显示
总结：列出目录下面的文件或目录，按照修改时间反向排序（长格式显示）

配置本地网络映射，配置DNS
[root@localhost conf]# vim /etc/hosts
192.168.146.10 master
192.168.146.11 slave1
192.168.146.12 slave2
临时生效
[root@localhost conf]# hostname master
永久生效
[root@localhost conf]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
配置slive1，slive2
远程拷贝
递归拷贝
[root@localhost src]# scp -rp hadoop-1.2.1 192.168.146.11:/usr/local/src/
关闭防火墙
[root@localhost src]# /etc/init.d/iptables stop
检查是否关闭
[root@localhost src]# iptables -L
执行setenforce 0 表示关闭selinux防火墙。
getenforce检查

五、建立每台机器间互信
[root@master badou]# ssh-keygen 
不断回车
进入隐藏目录
[root@master badou]# cd ~/.ssh
公钥文件拷贝
[root@master .ssh]# cat id_rsa.pub > authorized_keys
几台机器重复操作
子机器的公钥复制到主机器的authorized_keys
[root@master .ssh]# scp -rp authorized_keys slave2:~/.ssh/
公钥三台机器都有
验证
[root@master .ssh]# ssh slave1
六、启动集群
[root@master src]# cd hadoop-1.2.1/bin
第一次启动需要格式化
[root@master bin]# ./hadoop namenode -format
启动
[root@master bin]# ./start-all.sh 
查看进程是否有问题
[root@master bin]# jps
不懂
[root@master bin]# ./hadoop fs -ls /
往集群上传文件
[root@master bin]# ./hadoop fs -put /etc/passwd /
查看文件列表
[root@master bin]# ./hadoop fs -ls /
查看文件内容
[root@master bin]# ./hadoop fs -cat /passwd