oozie on yarn oozie 4.0.1 hadoop2.3.0 安装笔记



java高级交流群：37341439 ，， 如果文章看不懂的，可以加群问我哦~~一起学习。

oozie 需要编译哦~~ 编译下载的依赖有800多m呢，，所以得找台网络好点的机器去编译。。。

1：下载地址：http://mirror.bit.edu.cn/apache/oozie/  

2：ext2.2.zip下载地址：http://oozie.apache.org/docs/4.0.1/DG_QuickStart.html  oozie的quick start页面，往下面看就能找到直接下载链接，不用去ext官网找了哦~~

解压后

tar -zxvf oozie-4.0.1.tar.gz

cd oozie-4.0.1

vim pom.xml

修改

//因为我用的是1.7所以改成1.7的jdk

<javaVersion>1.7</javaVersion>
<targetJavaVersion>1.7</targetJavaVersion>

//试了下hadoop改成2.2.0不行，所以还是保留2.3.0

<hadoop.version>2.3.0</hadoop.version>

//试了下0.98.1和0.98.2不行，所以保留默认
<hbase.version>0.94.2</hbase.version>

//其他0.12.0和0.13.0和0.11.0不行

  <hive.version>0.10.0</hive.version>

//我使用的版本，默认好像是0.10.0，我用的是0.12.1编译正常
<pig.version>0.12.1</pig.version>
 <pig.classifier></pig.classifier>

//我使用的sqoop版本。默认是1.4.3，我用1.4.4编译正常
<sqoop.version>1.4.4</sqoop.version>

然后使用如下命令编译（ 如果maven网络老是卡着，就control +c 取消，再重新执行。 ）

mvn clean package assembly:single -DskipTests

这是我编译用户的环境变量，里面有我使用的软件的版本，大家可以参考下~~

编译好后

将./oozie-4.0.1/distro/target/oozie-4.0.1-distro.tar.gz 拷贝出来，这个就是编译最终生成的包。我把它tar到/usr/local/oozie

目录结构如下：

这个/usr/local/oozie 就是我的工作目录了。也就是OOZIE_HOME

2：配置和启动web

假如ext-2.2.zip已经下载到了 /home/oozie/ext-2.2.zip中

进入/usr/local/oozie/bin

执行，将ext2.2.0和hadoop的jar包打进新war包里，很重要哦，否则会启动会失败，可以检查下/usr/local/oozie/oozie-server/webapps/有没有 oozie.war，来验证是否成功

./addtowar.sh -inputwar /usr/local/oozie/oozie.war -outputwar /usr/local/oozie/oozie-server/webapps/oozie.war -hadoop 2.3.0 /usr/local/hadoop -extjs /home/oozie/ext-2.2.zip

接着执行下面命令，生成oozie数据库脚本文件

./ooziedb.sh create -sqlfile oozie.sql 

接着执行如下命令，执行oozie数据库脚本文件，初始数据库

./oozie-setup.sh db create -run  -sqlfile /usr/local/oozie/bin/oozie.sql 

接着添加下oozie启停用户的环境变量吧，我新建了一个oozie用户，所以修改/home/oozie/.bashrc

添加如下环境变量，然后记得source 一下/home/oozie/.bashrc 

export JAVA_HOME=/usr/java/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_LOG_DIR=/home/hadoop/hadoopdata/logs
export OOZIE_HOME=/usr/local/oozie
export OOZIE_CONFIG=/usr/local/oozie/conf
export PATH=$PATH:$OOZIE_HOME/bin

然后就可以通过一下命令启动oozie了

./ooziedb.sh start

如果启动还有错误可以查看/usr/local/oozie/logs/catalina.out 里面的错误日志，一步一步调试，我很幸运的没错误。启动成功后，可以访问http:/ip:11000/oozie访问oozie的页面了~~嘿嘿~

oozie的编译安装好了。。。困难的是配置hadoop和hive和pig和hbase那些东西了~~~~~