Hadoop单机模式环境搭建关键步骤

        Hadoop环境需要sshd服务一直开启,故,在服务器上需要按照ssh服务,以Ubuntu Linux为例,按照ssh服务如下:

sudo apt-get install ssh

sudo apt-get install rsync

编辑HADOOP_HOME/conf/hadoop-env.sh文件,将JAVA_HOME设置为Java安装路径。


Hadoop的集群分为三种模式:

  • 单机模式
  • 伪分布式模式
  • 完全分布式模式
不管哪种模型,都需要系统能够免密码ssh设置:
$ssh localhost
看看是否需要登录本机需要密码,如果需要使用如下操作:
$ssh -keygen -t dsp -P '' -f ~/.ssh/id_dsa
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

执行:
格式化一个新的分布式文件系统
$bin/hadoop namenode -format
启动Hadoop守护进程:
$bin/start-all.sh

浏览NameNode和JobTracker的网络接口,默认地址分别为:
  • NameNode http://localhost:50070
  • JobTracker http://localhost:50030
将输入文件copy到分布式文件系统:
$bin/hadoop fs -put conf input
运行示例程序;
$bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
查看输出文件:
$bin/hadoop fs -get output output
$cat output/*
或者在分布式文件系统上查看输出文件:
$bin/hadoop fs -cat output/*

停止Hadoop守护进程:
$bin/stop-all.sh

完全分布式集群:
通常选择集群中的一台机器作为NameNode,另外一台不同的机器作为JobTracker,这些被称为Master,余下的机器即作为DataNode,又作为TaskTracker,这些被称为Slaves。
在conf/slaves文件中列出所有slaves的主机名称或者Ip地址,一行一个。

更具体的完全分布式环境搭建可以见两位网友的经验总结文章: hadoop环境搭建hadoop搭建和eclipse开发环境设置

你可能感兴趣的:(分布式)