hadoop_1_完全分布式

JAVA_HOME=/usr/java/jdk1.7.0_71
export JAVA_HOME=${JAVA_HOME}

export HADOOP_PREFIX=/home/hadoop-2.5.1  # 这个先不管，应该是mepredios中用


配置etc文件完后重新启动

关闭防火墙开机启动
echo "service iptables stop"  >> .bash_profile

设置清空快捷键
echo "alias cls=clear"  >> .bashrc

http://192.168.174.40:50070/dfshealth.html#tab-overview


完全分布式
namenode的主要功能就是接收客户端的请求
1    检查java
2    检查时间
    yum -y install ntp.x86_64
    clock --show 查看硬件时间
    clock --set --date="09/17/2003 13:26:00" 设置硬件时间
    hwclock --hctosys {设置系统时间和硬件时间同步}

3    找一台机子为启动脚本的机器，
    sbin/stop-dfs.sh 命令时，此机子通过远程登录的方式去启动其他服务器的所应该启动的脚本

4    免登录命令
     （所有服务都执行这条命令，建立.ssh文件夹）$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
     $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys // 把公钥添加到本地认证文件中
     私钥是本地两个进程之间进行访问用的，公钥是给别人用的
      scp ~/.ssh/id_dsa.pub root@hadoop-node2:/opt
     （所有服务都执行这条命令）cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys 把公钥添加到认证文件中
     免密登录后记得要 exit退出
    
    
     scp /etc/hosts root@hadoop-node4:/etc/（拷贝本机地址映射文件）
    
5      vi ~/.bash_profile(编辑环境变量的目的是，随地可用hadoop命令)

     export HADOOP_HOME=/home/hadoop-2.5.1
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
     scp ~/.bash_profile root@hadoop-node2:/root/
     （全部执行）source
    
6    搭建hadoop环境 修改配置文件
    vim hadoop-env.sh
        JAVA_HOME=/usr/java/jdk1.7.0_71
        export JAVA_HOME=${JAVA_HOME}
 
    vim core-site.xml
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop-node1:9000</value>（namenode  客户端入口）
         </property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop-2.5.1</value>
         </property>

    vim hdfs-site.xml
        secondNameNode
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop-node2:50090</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.https-address</name>
                <value>hadoop-node2:50091</value>
        </property>
        
    vim masters 配置 secondNameNode主机名
        hadoop-node2
    vim slaves   配置 dataNode 主机名
        hadoop-node2
        hadoop-node3
        hadoop-node4
        
7   hadoop配置文件配置完成
    复制到其他服务器上
    scp -r hadoop-2.5.1/ root@hadoop-node2:/home/ (复制至前删除没有的文件doc，考本快)
    
    最后全部执行 source ~/.bash_profile
    
8    开始启动
        1 在namenode上格式化，其他服务器上不用
        
            hdfs namenode -format (做了2件事 1创建了我们的配置的 /opt/下的文件 2创建
            
            了fsimage文件 )
        关于 version文件，hadoop会检查每一台服务的version文件，对比namespaceid clusterID blockpoolID
        2 启动
        
            start-dfs.sh   （stop-dfs.sh）
            
        web浏览器的监控页面为http协议 端口为 50070
        上传下载为 rpc协议
        
        上传命令 hdfs dfs -put tengine-2.1.0.tar.gz /
        
        若 页面打不开 就看namenode
        日志 看.log结尾的日志文件  out文件无关
        
        注意 hdfs文件系统和 hsfs文件系统是两个不同文件系统
        
        给 / 目录授权 hdfs dfs -chmod -R 777 /，注意 hadoop没有用户的概念