设为首页 收藏本站
查看: 824|回复: 0

[经验分享] oozie 4.0.x and hadoop 2.x.0

[复制链接]

尚未签到

发表于 2016-12-11 10:06:41 | 显示全部楼层 |阅读模式

  • Download



1.download the latest tarball from http://www.apache.org/dyn/closer.cgi/oozie/4.0.0

2.#tar -xzvf  oozie-4.0.4.tar.gz


  • Build
  According to official document, when run build command

$ bin/mkdistro.sh
  there are some errors.  By default it builds against Hadoop 1.1.1 and the build configuration enforces that JDK 1.6.* is being used to compile and run the testcases.

   So do the following steps to fix the problem(You should replace 2.x.0 to your hadoop version)

#cd oozie-4.0.0/
#find . -name pom.xml | xargs sed -ri 's/(2.2.0\-SNAPSHOT)/2.x.0/'
//or you should alter pom.xml manually

//java 1.6
mvn -DskipTests=true -P hadoop-2 clean package assembly:single

//java 1.7
$ mvn clean package assembly:single -Dhadoop.version=2.x.0 \
-DjavaVersion=1.7 -DtargetJavaVersion=1.7 -DskipTests -Dpig.version=0.12.0 \
-DgenerateDocs
  Note: I can build oozie4.0.1 succesfully by the following steps
  #tar -xzf oozie-4.0.1.tar.gz
  #cd oozie-4.0.1
  #mvn clean package assembly:single -Dhadoop.version=2.3.0 \
-DjavaVersion=1.7 -DtargetJavaVersion=1.7 -DskipTests -Dpig.version=0.12.0 \
-DgenerateDocs
  You should change your system language to english, otherwise some pom or jar cannot download from
  couldera site.

Server Installation
  #cd oozie-4.0.1/distro/target
  #cp oozie-4.0.1-distro.tar.gz  /path/to/oozie-install-dir
  #cp oozie-4.0.1/hadooplibs/target/oozie-4.0.1-hadooplibs.tar.gz /path/to/oozie-install-dir
  #cd /path/to/oozie-install-dir
  #tar -xzf oozie-4.0.1-distro.tar.gz
  #tar -xzf oozie-4.0.1-hadooplibs.tar.gz
  #cd oozie-4.0.1/
  #mkdir  libext
  #cp hadooplibs/hadooplib-2.3.0.oozie-4.0.1/*      libext/
  #cp /path/to/ext-2.2.zip   libext/
  #cp /path/to/mysql-connector-java-5.1.29-bin.jar   libext/
  #tree -L 1   

#bin/oozie-setup.sh  prepare-war
#bin/oozie-setup.sh sharelib create -fs hdfs://192.168.122.1:2014
#bin/oozie-setup.sh db create -run
  Expand the oozie-sharelib TAR.GZ file bundled with the distribution.
  The share/ directory must be copied to the Oozie HOME directory in HDFS:

$ hadoop fs -put share share

  IMPORTANT: This must be done using the Oozie Hadoop (HDFS) user. If a share directory already exists in HDFS, it must be deleted before copying it again.

$ bin/oozied.sh start

$ bin/oozied.sh run

$ bin/oozie admin -oozie http://localhost:11000/oozie -status
  http://zhj-c0:11000/oozie/

Client Installation
  expand the oozie-client TAR.GZ file bundled with the distribution. Add the bin/ directory to the PATH .
  #oozie

ref:  https://oozie.apache.org/docs/4.0.1/DG_QuickStart.html
  http://oozie.apache.org/docs/4.0.0/DG_QuickStart.html
  https://oozie.apache.org/docs/4.0.0/ENG_Building.html
  http://archive.cloudera.com/cdh/3/oozie/AG_Install.html
  http://stackoverflow.com/questions/22077120/install-oozie-on-hadoop-2-2
  grepalex.com/2014/02/16/oozie-and-hadoop-2.2/
  http://mail-archives.apache.org/mod_mbox/oozie-user/201312.mbox/%3CCEDDEB80.76815%25chitnis@yahoo-inc.com%3E
  http://www.hadoopinrealworld.com/building-running-and-testing-apache-oozie-4-0-0-2/
  https://issues.apache.org/jira/browse/OOZIE-1551
  https://issues.apache.org/jira/

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-312663-1-1.html 上篇帖子: eBay readies next generation search built with Hadoop and HBase 下篇帖子: 详细版hadoop平台搭建常见问题总结(一)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表