Oozie--安装部署

• 参考： http://oozie.apache.org/docs/4.1.0/DG_QuickStart.html

1、上传解压

• 以第一台机器为例
• 使用filezila或者SecureFx或者XFTP来上传
  

cd /export/software/
tar -zxvf oozie-4.1.0-cdh5.14.0.tar.gz -C /export/servers/

2、配置Hadoop代理用户

• 在Hue阶段已配置过不需要配置：oozie需要调度Hadoop，依赖于YARN，所以需要配置代理
• 在工作中每个框架有自己的用户来负责管理，大数据的所用户属于同一个用户组

<property>
    <name>hadoop.proxyuser.root.hostsname>
    <value>*value>
property>
<property>
    <name>hadoop.proxyuser.root.groupsname>
    <value>*value>
property>

3、重启Hadoop集群

start-dfs.sh
mr-jobhistory-daemon.sh start historyserver
start-yarn.sh

4、解压lib包

cd /export/servers/oozie-4.1.0-cdh5.14.0
tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz -C ../

5、引入extjs

cd /export/servers/oozie-4.1.0-cdh5.14.0
mkdir -p libext
#将hadoop程序的依赖包放入oozie的依赖目录
cp -ra hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-cdh5.14.0/* libext/
#将mysql的连接驱动包放入oozie的依赖目录，后面oozie的元数据要存储在MySQL
cp /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar libext/
#将extjs的包放入oozie的依赖目录，用于构建oozie的web页面
cp /export/software/ext-2.2.zip libext/

6、修改oozie配置文件

• 修改conf/oozie-site.xml

<property>
    <name>oozie.service.JPAService.jdbc.drivername>
    <value>com.mysql.jdbc.Drivervalue>
property>
<property>
    <name>oozie.service.JPAService.jdbc.urlname>
    <value>jdbc:mysql://node-03:3306/oozievalue>
property>
<property>
    <name>oozie.service.JPAService.jdbc.usernamename>
    <value>rootvalue>
property>
<property>
    <name>oozie.service.JPAService.jdbc.passwordname>
    <value>123456value>
property>

<property>
    <name>oozie.processing.timezonename>
    <value>GMT+0800value>
property>

<property>
    <name>oozie.service.coord.check.maximum.frequencyname>
    <value>falsevalue>
property> 
 
<property>
    <name>oozie.service.HadoopAccessorService.hadoop.configurationsname>
    <value>*=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoopvalue>
property>
 
<property>
    <name>oozie.service.ProxyUserService.proxyuser.root.hostsname>
    <value>*value>
property>
<property>
    <name>oozie.service.ProxyUserService.proxyuser.root.groupsname>
    <value>*value>
property>

7、创建oozie元数据库

• 第三台机器MySQL中执行

mysql -uroot -p
create database oozie;

8、初始化oozie

• 将Oozie需要用到的所有jar包放在HDFS上

cd /export/servers/oozie-4.1.0-cdh5.14.0
#将oozie运行时需要用到的jar包上传到hdfs上
bin/oozie-setup.sh  sharelib create -fs hdfs://node-01:8020 -locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz
#初始化oozie的元数据存储
bin/oozie-setup.sh  db create -run -sqlfile oozie.sql

为什么要将oozie的这些jar包放到hdfs上?

• oozie是将工作流变成一个 MapReduce程序运行，具体运行在哪一台机器，由YARN决定，这是随机的
• 运行工作流时需要用到各种各样 的jar包，当前这些jar包只在第一台机器有
• oozie的解决方案:
  • 将所有需要用到的jar包，放到HDFS上，工作流运行时从hdfs上读取jar包，不用从某台机器上读

9、生成web项目

cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie-setup.sh  prepare-war

10、配置环境变量

vim /etc/profile
​
export OOZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0
export OOZIE_URL=http://node-01:11000/oozie
export PATH=$PATH:$OOZIE_HOME/bin
​
source /etc/profile

11、Oozie的启动与关闭

• 启动

cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozied.sh start 

• web界面

http://node-01:11000

• 关闭

bin/oozied.sh stop

12、修改界面默认时区

cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie-server/webapps/oozie
vim oozie-console.js

#修改179行：
return Ext.state.Manager.get("TimezoneId","GMT+0800");
#修改2635行
var currentTimezone = Ext.state.Manager.get("TimezoneId","GMT+0800");