设为首页 收藏本站
查看: 869|回复: 0

[经验分享] Unable to load native-hadoop library for your platform-tao975

[复制链接]

尚未签到

发表于 2018-10-31 06:50:42 | 显示全部楼层 |阅读模式
  Unableto load native-hadoop library for your platform
  问题:
  在运行hadoop的时候,出现警告:

  WARNutil.NativeCodeLoader: Unable to load native-hadoop library for yourplatform… using builtin-java>  原因:
  Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。
  解决:
  一、需要准备的软件:
  1.JDK和GCC
  2.安装maven
  下载 wgethttp://www.eng.lsu.edu/mirrors/apache/maven/maven-3/3.2.1/binaries/apache-maven-3.2.1-bin.tar.gz
  解压 tar-zxvf apache-maven-3.2.1-bin.tar.gz
  配置环境变量,编辑/etc/profile或者~/.bashrc文件
  exportMAVEN_HOME=/home/username/apache-maven-3.2.1
  exportPATH=$PATH:$MAVEN_HOME/bin
  最后要source/etc/profile
  通过mvn--version来检查是否安装正常
  3.安装protobuf
  下载wgethttps://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
  解压 tar-zxvf protobuf-2.5.0.tar.gz
  进入protobuf-2.5.0目录,执行下面的命令
  ./configure
  make
  makecheck
  makeinstall
  可以通过protoc--version来查看是否安装正常
  4.安装cmake
  下载 wgethttp://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz
  解压 tar-zxvf cmake-2.8.12.2.tar.gz
  进入cmake-2.8.12.2目录,执行下面的命令
  ./bootstrap
  make
  makeinstall
  可以通过cmake--version来查看是否安装正常
  5.安装autotool
  yuminstall autoconf automake libtool
  6.安装openssl-devel
  yuminstall openssl-devel
  7.网上有说可能还需要findingbugs
  如果需要可以自己去下载,解压并配置环境变量即可。
  http://sourceforge.jp/projects/sfnet_findbugs/downloads/findbugs/3.0.0/findbugs-3.0.0-dev-20131204-e3cbbd5.tar.gz/
  二、编译haodoop:
  1.下载源码包hadoop-2.2.0-src.tar.gz并解压
  wgethttp://apache.mirrors.pair.com/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
  tar-zxvf hadoop-2.2.0-src.tar.gz
  注:参考的博客中说源码有问题需要修改,但笔者并未修改也编译成功了,有需要的可以参考
  http://www.linuxidc.com/Linux/2014-01/95938.htm
  2.进入hadoop-2.2.0-src目录,执行
  mvnclean package -Pdist,native -DskipTests -Dtar
  接下来就是漫长的等待,当你看到一系列的SUCCESS之后,你就成功了。
  3.编译好的hadoop-2.2.0.tar.gz在hadoop-2.2.0-src木目录下的hadoop-dist/target/的目录中,接下来就可以安装了。
  4.如果在编译过程中报错,缺少的包或者软件可以自己去网上找。
  参考:http://www.linuxidc.com/Linux/2014-01/95938.htm


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-628625-1-1.html 上篇帖子: eclipse hadoop开发环境配置 下篇帖子: lab-bill-hadoop-ha-davidey
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表