设为首页 收藏本站
查看: 795|回复: 0

[经验分享] Hadoop 2.4 libhadoop.so的disabled stack guard问题

[复制链接]

尚未签到

发表于 2018-10-29 10:40:01 | 显示全部楼层 |阅读模式
  由于2.4.0默认配置的libhadoop是32位的,在64位的操作系统环境运行过程中,会提示以下错误:

  •   Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /opt/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
  •   It's highly recommended that you fix the library with 'execstack -c ', or link it with '-z noexecstack'.
  •   13/11/01 10:58:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  需要重新编译Hadoop的代码,得到适合的库文件。按以下步骤执行。
下载Hadoop 2.4.0 源代码
  可以从Apache官方下载Hadoop 2.2.0的源代码,或者在以下网址下载Hadoop 2.2.0的源代码:
  http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
配置编译环境
  本文采用的Ubuntu 12.04.3 LTS环境,先安装编译环境:
  [plain] view plain copy print?

  •   $ yum install
  • yum install gcc gcc-c++ kernel-devel
  •   $ yum install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
  安装 build-essential
  yum groupinstall "Development Tools"
  这时候需要用wget命令去网络上下载资源包
  wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
  然后重新安装maven

  •   安装maven
  •   yum -y install apache-maven
配置protobuf
  编译过程需要使用protobuf,建议先行安装。Ubuntu仓库默认的protobuf是2.4.1版,需要最新的2.5版:
  https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
  下载解压后,执行:
  [plain] view plain copy print?

  •   $ tar xzvf protobuf-2.5.0.tar.gz
  •   $ cd protobuf-2.5.0
  •   $ ./configure --prefix=/usr
  •   $ make
  •   $ sudo make install
编译hadoop
  解压进入hadoop源码目录,执行编译:
  [plain] view plain copy print?

  •   $ tar xzvf hadoop-2.2.0-src.tar.gz
  •   $ cd hadoop-2.2.0-src
  •   $ mvn package -Pdist,native -DskipTests -Dtar
  编译过程中maven会自动下载依赖。编译完成后,系统会提示以下信息:
  [plain] view plain copy print?

  •   [INFO] BUILD SUCCESS
  •   [INFO] ------------------------------------------------
  •   [INFO] Total time: 15:39.705s
  •   [INFO] Finished at: Fri Nov 01 14:36:17 CST 2013
  •   [INFO] Final Memory: 135M/422M
  然后在以下目录可以获取编译完成的libhadoop:
  [plain] view plain copy print?

  •   hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib
  注:默认源地址下,maven下载依赖时间极长,建议使用国内源,参考《maven国内镜像配置》文档。
  然后将编译的lib/native文件夹替换原本的即可。



运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-627891-1-1.html 上篇帖子: hadoop部署 下篇帖子: Hadoop启动和停止脚本解释
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表