用虚拟机简单搭建一个hadoop集群（Linux）

一，前提

• 1. 安装好一台Linux的虚拟机（我用的纯粹的黑框框）
• 2.  修改好IP地址并安装jdk  (我这里安装的是1.8版本的)
  •  vi /etc/sysconfig/network-scripts/ifcfg-eth0
  • 
  • 重启网络生效
        service network restart
  • jdk的安装参考网上 记得改环境配置
  • vi /etc/profile
        export JAVA_HOME=/usr/local/jdkxxx...
        export PATH=$PATH:$JAVA_HOME/bin
• 3.  克隆2--3台虚拟机 
• 4.修改虚拟机的名字 以及ip 地址
  •  ip地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0
  • 以及  vi /etc/udev/rules.d/70----n
  •    删除eth0  将eth1修改为eth0 
  • 虚拟机名字：永久的修改   vi /etc/hosts/（reboot后才有效)
  •  
• 5.ssh

  • 
    ssh客户端 yum install openssh-clients

    ssh登陆，scp发送文件
    scp -r /etc/hosts bigdata3803:/etc/

  • (不懂请上网查ssh)

二，正式安装

• 1.关闭防火墙    

• 2hosts映射

  windows和linux都4需要做

  

   Windows:  C/windows/system32/drvers/etc

        Linux :vi/etc/hosts

     3.如果没有ssh（免密的话以后看https://blog.csdn.net/HANLIPENGHANLIPENG/article/details/52791263）

鹏哥写的ssh的脚本

安装hadoop

1 HADOOP安装部署

• 上传HADOOP安装包
• 规划安装目录  /usr/local/hadoop-2.8.3
• 解压安装包
• 修改配置文件  $HADOOP_HOME/etc/hadoop/

最简化配置如下：（）

 

注意下面的路径和虚拟机名称是否与正式一直  （一定要多检查）

 

vi  hadoop-env.sh

# The java implementation to use. export JAVA_HOME=/usr/local/jdk1.8.0_102

 

vi  core-site.xml

Namenode在哪里 ，临时文件存储在哪里 fs.defaultFS hdfs://hadoop3801:9000 hadoop.tmp.dir /usr/local/hadoop-2.7.3/tmp

vi  hdfs-site.xml

dfs.namenode.name.dir /usr/local/hadoop-2.7.3/data/name dfs.datanode.data.dir /usr/local/hadoop-2.7.3/data/data   dfs.replication 3   dfs.secondary.http.address hadoop3801:50090

 

 

cp mapred-site.xml.tmp* mapred-site.xml

mapred-site.xml.template

 

vi  mapred-site.xml

mapreduce.framework.name yarn

 

vi  yarn-site.xml

yarn.resourcemanager.hostname hadoop3801   yarn.nodemanager.aux-services mapreduce_shuffle

 

vi  slaves （ 把原来的localhost删掉小心翻车）

Hadoop02 Hadoop03

 

Hadoop的path（hadoop的环境变量）（注意sbin的配置）

export JAVA_HOME=/usr/local/jdk1.8.0_102
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

 

 

把第一台安装好的jdk和hadoop以及配置文件发送给另外两台

hosts文件

jdk安装后的文件夹

Hadoop安装后的文件夹

/etc/profile 文件

eg:scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/

 

初始化HDFS(在hadoop01进行操作)（操作一次就ok）

bin/hadoop  namenode  -format

 

启动HDFS

sbin/start-dfs.sh

 

启动YARN

sbin/start-yarn.sh

三 .通过网络查看