任务调度-Oozie的安装

Oozie的安装

(0)前提条件:

maven3.5.0 Mysql5.7.19-0ubuntu0.16.04.1 tomcat7.0.79
sudo apt install maven

(1)编译

在本地执行
4.3版本才支持jdk1.8
在根目录的pom.xml中修改组建的版本

 ./mkdistro.sh -DskipTests // 执行编译脚本
 

成功:
Oozie distro created, DATE[2017.11.14-03:19:01GMT] VC-REV[unavailable], available at [/home/ginger/oozie-4.3.0-src/oozie-4.3.0/distro/target]

(2)安装oozie server

将oozie-4.0.1目录下的distro/target目录下的oozie-4.0.1-distro.tar.gz解压至/usr/local/package目录下
然后解压下面三个文件夹

 tar -zxvf oozie-client-4.2.0.tar.gz
 tar -zxvf oozie-examples.tar.gz // oozie官方实例
 tar -zxvf oozie-sharelib-4.2.0.tar.gz
 

(3)创建libetx文件夹, 生成war包

移动hadoop的jar到指定目录:
mkdir /usr/local/package/oozie-4.3.0/libetx
cp {HADOOP_INSTALL}/share/hadoop//.jar libext/
cp {HADOOP_INSTALL}/share/hadoop//lib/.jar libext/

下载ext2.2.zip 并移动到该目录下

 bin/oozie-setup.sh prepare-war // 生成war包 需安装sudo
 

(4)配置oozie环境变量,修改配置文件

 oozie配置文件oozie-site.xml修改如下：
 export OOZIE_HOME=/usr/local/package/oozie-4.3.0
 export CATALINA_HOME=/usr/local/package/oozie-4.3.0/oozie-server
 export PATH={OOZIE_HOME}/bin:$PATH
 export OOZIE_URL=http://10.101.12.23:11000
 export OOZIE_CONFIG=/usr/local/package/oozie-4.3.0/conf
 

(5)创建 sharelib:

 bin/oozie-setup.sh sharelib create -fs hdfs://localhost:9000 /localpath
 

查看sharelib是否正确配置:

 oozie admin -oozie http://localhost:11000/oozie -shareliblist
 

(6)配置mysql数据库,建表

先建表: create database oozie;
在bin目录下执行:

 bin/ooziedb.sh create -sqlfile oozie.sql // 生成数据库脚本文件
 bin/oozie-setup.sh db create -run -sqlfile oozie.sql //
 

建表
移动jdbc到指定目录

 cp mysql-connector-java-5.1.44/mysql-connector-java-5.1.44-bin.jar /usr/local/package/oozie-4.3.0/lib
 

(7)修改hadoop配置文件(namenode的core-site.xml)

添加如下配置：

  
    hadoop.proxyuser.oozie.hosts  
    *  
  
  
    hadoop.proxyuser.oozie.groups  
    *  
 

不重启刷新hadoop配置的命令：

 hdfs dfsadmin -refreshSuperUserGroupsConfiguration
 yarn rmadmin -refreshSuperUserGroupsConfiguration
 

(8)启动oozie并检查状态：

bin/oozied.sh start
查看运行状态:

 bin/oozie admin -oozie http://localhost:11000/oozie -status