Win8上MyEclipse10开发hadoop的环境搭建和连接Linux集群

a13698822086

　　用了一整天的时间，终于搭建完成了hadoop开发环境。我的
　　之前用的centos来开发，开发是很方便，不过其它体验确实久了不能忍受。
　　今天换回win8发现hadoop开发成了问题。研究了一天，记录一下。
　　一，
　　1.首先是插件的安装，我选的是hadoop-eclipse-plugin用于hadoop1.0.2的版本。没有专门对应这个版本的插件，需要修改一下jar包。不过网上很多人已经改好了，随便下个便是。eg:http://download.iyunv.com/detail/e10514001/4229811
　　2.下好之后，将jar包放到...MyEclipse\MyEclipse 10\dropins目录下，重启IDE。
　　3.“windows”-> "open perspective" -> "other",会看到一只小象map/reduce(如无，请勾上“show all”)。就可以打开
　　

4.我的端口是mapreduce 9001，hdfs 9000其它要改的就是user,换成你linux集群的用户名，然后点advacned parameters把里面用看到不是你的集群用户名的字符串，全改成和集群里一致的。那个用户是插件System类拿到的，很可能是什么Adminstrator什么的，改掉它。

二，
1. 以上其实只是一个图形界面ui加了进来，hadoop Clouder CDH3B3之后的版本，是不能操作的。因为原本用hadoop.job.ugi参数可以直接对HDFS写操作，现在不可以了。我感觉这样也比较安全。可以放心的用线上集群做测试了（只要你的程序没有狂建目录的bug）。
2. 虽然ui不能操作，但是程序里还是可以的。这里要介绍一下，怎么在程序里连接，并取得写权限。
　　1）建一个map/reduce项目，拷贝下http://hadoop.apache.org/docs/r1.1.0/cn/mapred_tutorial.html里的wordcount代码，粘到自己的程序里。
　　2）在IDE里设置一下程序的启动参数如：/test/input/ /test/output，input目录是要提前建好的。然后启动。
　　　  我的1.0.2版本发现错误：Failed to set permissions of path: \tmp\hadoop-Administrator，的解决方法，更换hadoop-core-1.0.2-modified.jar包（网上有改　　　　  好的），这个是Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。
3. 再次运行程序，发现在已经能启动，去集群上或者用ui看一下，已经有新的内容了。
　　
http://onexin.iyunv.com/source/plugin/onexin_bigdata/file:///C:Users永会AppDataRoamingTencentUsers150679452QQWinTempRichOleF{7_3{G6ZG@WVAVZWN_ID1C.jpg
http://onexin.iyunv.com/source/plugin/onexin_bigdata/file:///C:Users永会AppDataRoamingTencentUsers150679452QQWinTempRichOleF{7_3{G6ZG@WVAVZWN_ID1C.jpg