Hadoop-3.0.3 安装

Hadoop-3.0.3 安装

一 下载安装包

二配置Hadoop环境变量

/etc/profile 后面追加

export HADOOP_HOME=/data/hadoop-3.0.3

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

三 修改

hadoop-env.sh文件

末尾追加：

export JAVA_HOME=/data/jdk1.8.0_172

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

四 修改

core-site.xml

   

        fs.defaultFS

        hdfs://192.168.16.94:9000

   

   

        hadoop.tmp.dir

        file:/data/hadoop-3.0.3/tmp

        Abase for other temporary directories.

   

五、修改

hdfs-site.xml

   

        dfs.replication

        1

   

   

        dfs.namenode.name.dir

        file:/data/hadoop-3.0.3/namenode

   

   

        dfs.datanode.data.dir

        file:/data/hadoop-3.0.3/datanode

   

六、启动服务

nohup ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode &nohup ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode &

nohup ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode &

七、jps 检查服务启动情况

八、对DataNode进行分块

hdfs namenode –format

九、执行

${HADOOP_HOME}/bin/hadoop checknative -a

若报错不能加载本地库问题。有可能是

原因是系统的glibc版本太低，软件编译时使用了较高版本的glibc引起的

解决方案如下:

1.使用命令  strings /lib64/libc.so.6 |grep GLIBC_  检查所有的版本

缺少GLIBC_2.14造成。

2. 下载编译环境

yum install svn autoconfautomake libtool cmake ncurses-devel openssl-devel gcc* 

下载 http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz ;

解压 mkdir build && cd build

配置  ../configure --prefix=/opt/glibc-2.14

执行  make && make install

3.配置  cp /etc/ld.so.c* /opt/glibc-2.14/etc/

4. 创建新的软连接  ln -sf /opt/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6

5.检查是否安装成功  strings /lib64/libc.so.6 | grep GLIBC

十、再次执行${HADOOP_HOME}/bin/hadoop checknative -a   检查是否OK 。