设为首页 收藏本站
查看: 1349|回复: 0

[经验分享] 关于java.io.IOException: HADOOP

[复制链接]

尚未签到

发表于 2017-12-17 07:17:51 | 显示全部楼层 |阅读模式
  报错如下:
  

300 [main] DEBUG org.apache.hadoop.util.Shell  - Failed to detect a valid hadoop home directory  
java.io.IOException: HADOOP_HOME or hadoop.home.dir are not
set  


解决办法一:
  根据 http://blog.csdn.net/baidu_19473529/article/details/54693523 配置hadoop_home变量
  下载winutils地址https://github.com/srccodes/hadoop-common-2.2.0-bin下载解压
DSC0000.png

DSC0001.png

  依然报相同的错误



解决办法二:
  在java程序中加入
  

System.setProperty("hadoop.home.dir", "/usr/local/hadoop-2.6.0");  

  依然报错



解决办法三:
  根据该提示:
DSC0002.png

  依然报错
  --------------------------------5.19.早晨------------------------------------------
  今天早上再次执行该程序,将上传到HDFS部分的代码给注释掉后发现日志报错信息如下:
  

132 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader  - Trying to load the custom-built native-hadoop library...  

134 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader  - Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path  

  1)check Hadoop library:
  

root@Ubuntu-1:/usr/local/hadoop-2.6.0/lib/native# file libhadoop.so.1.0.0  

DSC0003.png

  It's 64-bite library
  2)Try adding the HADOOP_OPTS environment variable:
  

root@Ubuntu-1:~# vi /etc/profile                            //environment variable  

  

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"  

  It doesn't work, and reports the same error.
  3)Try adding the HADOOP_OPTS and HADOOP_COMMON_LIB_NATIVE_DIR environment variable:
  export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
  export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/"
  It still doesn't work, and reports the same error.
  4)Adding the Hadoop library into LD_LIBRARY_PATH
  

root@Ubuntu-1:~# vi .bashrc  export LD_LIBRARY_PATH=/usr/local/hadoop/lib/native/:$LD_LIBRARY_PATH
  

  It doesn't work, and reports the same error.
  5)append word native to HADOOP_OPTS like this
  

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"  

  It doesn't work, and reports the same error.
  -----------------------------------5.20早晨-------------------------
  win下依旧无法使用java代码上传文件到HDFS
  ----------------------------------5.24------------
  copy了一份hadoop-2.6.0文件到本机,更改bin目录和path ,显示无效的path,遂更改回去
  ---------------------2017.5.26-------------------
  今天早上开机 试了一下 发现它已经好了  其实上述的设置已经可以解决大部分遇到这类问题的人群
   DSC0004.png

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-424907-1-1.html 上篇帖子: Hadoop YARN介绍 下篇帖子: Hadoop体系架构简介
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表