在windows上建立hadoop+eclipse开发环境

dcvb

　　2013-03-07
　　版本要求：jdk1.6（及以上），hadoop0.20.2（此后的版本会出现datanode无法启动的问题），eclipse3.3(此后的版本可能与插件不兼容)
　　
1、安装Cygwin（参考“在Windows上安装Hadoop教程”）
　　
从http://www.cygwin.com/setup.exe下载安装文件，运行安装。
　　
弹出Cygwin Net Release Setup Program，在download source页面选择Install from Internet
　　
下一步选择Cygwin的安装目录为“E:\cygwin”，Install For选择“All Users”，Default Text File Type选择“Unix/binary”
　　
下一步设置Cygwin安装包的存放目录
　　
下一步设置“Internet Connection”的方式，选“Direct Connection”
　　
下一步选“Download site”，选163的即可(网上很多http://www.cygwin.cn/pub/，本人不推荐，经常出错)
　　
在“Select Package”对话框中，必须保证“Net Category”下的“OpenSSL”被安装
　　

　　
如果打算在eclipse上编译Hadoop，必须安装“Base Category”下的“sed”：
　　

　　
另外建议将“Editor Category”下的vim安装；“Devel Category”下的subversion。

　　



当完成上述操作后，点击“Select Packages”对话框中“下一步”，进入Cygwin 安装包
下载过程。
等待安装包下载完毕，当下载完后。
2、安装JDK
最好1.6版本，配置环境变量。

3、配置环境变量

需要配置的环境变量包括classpath,JAVA_HOME和PATH：JAVA_HOME 指向JRE 安装目录；JDK的bin 目录，Cygwin 的bin 目录，以及Cygwin 的bin 目录都必须添加到PATH 环境变量中，如下图所示：
  图1   （配置classpath：   .;C:\Java\jdk1.6.0_11\lib）

   图二
配置JAVA_HOME：C:\Java\jre6
配置PATH：C:\Java\jdk1.6.0_11\bin;E:\cygwin\bin;
4、安装sshd服务（图片均见“在Windows上安装Hadoop教程”）
启动Cygwin，执行ssh-host-config命令，在出现
“Should privilege separation be used？”时输入no。
如果出现“Have fun”时，一般表示sshd服务安装成功。（见下图）
在本机服务管理器中启动GYGWIN sshd
5、配置ssh登录
执行ssh-keygen命令生成密钥文件，一路回车即可。然后生成authorized_keys文件：
cd ~/.ssh/
cp id_rsa.pub authorized_keys
exit
退出cygwin窗口，重新打开，执行ssh localhost，在出现“Are you sure you wangt to continue connecting ? 时输入yes
检测是否配置成功：

6、安装hadoop
将安装包hadoop-0.20.2.tar.gz解压到d:\hadoop目录下，修改conf目录下的配置文件：
修改hadoop-env.sh：export JAVA_HOME=/cygdrive/c/Java/jre6
修改core-site.xml：将src\core目录下的core-default.xml的内容全部复制到core-site.xml中代替原先内容，修改fs.default.name的值为：hdfs://localhost:9000
（ fs.default.name
hdfs://localhost:9000）
修改hdfs-site.xml：将src\hdfs下的hdfs-default.xml文件内容全部复制到hdfs-site.xml中
修改mapred-site.xml配置，将src\mapred目录下的mapred-default.xml文件内容复制到mapred-site.xml中，修改mapred.job.tracker值为：localhost:9001
（ mapred.job.tracker
localhost:9001）
7、启动hadoop：
$ cd /cygdrive/e/hadoop1
注意；如果出现Bad connection to FS. command aborted.
解决方法：
先删除tmp文件夹
格式化namenode:hadoop namenode -format
重新启动start-all.sh，输入jps
$ jps
5384 JobTracker
3052 NameNode
4432 Jps
如果NameNode没有启动，需要停掉hadoop（bin/stop-all.sh），重新格式化NameNode。
停止所有服务stop-all.sh
在Cygwin 中，进入hadoop 的bin 目录，运行./start-all.sh 启动hadoop，在启动成功之后，
可以执行./hadoop fs -ls /命令，查看hadoop 的根目录，
8、安装eclipse插件
hadoop0.20.2版本自带的hadoop-0.20.2-eclipse-plugin.jar包不行，换成下面的：下载地址：https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar，拷贝到eclipse的plugins目录下，重启eclipse，在在Window-》Open Perspective-》other，弹出的窗口中应该有一项Map/Reduce项，代表安装成功了。

9、eclipse配置环境
启动eclipse，转到Map/Reduce Perspective,在上图的Map/Reduce Locations里，新建一个Location，填入以下值


10、上传文件到HDFS
打开一个cygwin，执行
      cd hadoop-0.20.2
      bin/hadoop fs -mkdir In
      bin/hadoop fs -put README.txt In
这时，在eclipse的Project explorer的DFS location中，应该能反应变化，没有的话，reconnect一下


11、测试mapreduce项目
新建一个mapreduce项目，将D:\hadoop\hadoop-0.20.2\src\examples下的org文件夹拖到项目的src下。

在WordCount.java上右键——Run as——Run Configurations，添加一个Java Application，编辑Arguments，添加源文件目录及目标目录（可不存在）

运行

产生结果存放在Out目录下。
如果出现下面错误：
wordcount java.lang.OutOfMemoryError: Java heap space
是因为文件太大造成JVM内存溢出，可以在Run Configurations的Arguments中VM arguments中设置为-Xmx800m。如果还是不行，只能删掉部分处理的文件或换成小文件
下次运行时会出现Out目录已存在的错误，删掉Out目录或者修改参数中的输出目录。
运行时出错（纠结了好久呢……）


windows hadoop HDFS Failed to set permissions of path



security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator343777043\.staging to 0700  
02.java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator343777043\.staging to 0700  
03.    at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)  
04.    at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655)  
05.    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)  
06.    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)  
07.    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)  
08.    at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)  
09.    at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:856)  
10.    at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)  
11.    at java.security.AccessController.doPrivileged(Native Method)  
12.    at javax.security.auth.Subject.doAs(Unknown Source)  
13.    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)  
14.    at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)  
15.    at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:824)  
16.    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1261)
　　解决方法：
　　修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可（有些粗暴，在linux下，可以不用检查）：
　　......private static void checkReturnValue(booleanrv,Filep,FsPermissionpermission)throwsIOException{/** if (!rv) { throw new IOException("Failed to set permissions of path: " + p + " to " + String.format("%04o", permission.toShort())); } **/}......
　　重新编译打包hadoop-core-1.0.3.jar，替换掉hadoop-1.0.3根目录下的hadoop-core-1.0.3.jar即可。
　　这里提供一份修改版的hadoop-core-1.0.3-modified.jar文件，替换原hadoop-core-1.0.3.jar即可。（注文件放在hadoop软件下了）
　　替换之后，刷新项目，设置好正确的jar包依赖，现在再运行WordCountTest，即可。
　　成功之后，在Eclipse下刷新HDFS目录，可以看到生成了out目录：
　　参考：
　　http://stackoverflow.com/questions/10509427/haddop-in-windows

运行结果


参考《hadoop开发者》第一期的“在Windows上安装Hadoop教程”（注：百度文库里有）