Windows下基于Cygwin和Eclipse的Hadoop开发环境配置中遇到的问题和解决方法

永夜海

　　由于不是即时写的，所以不能把我遇到的每个问题都写出来。但是几个印象比较深刻的问题和解决方法可以分享一下。
　　主要有如下几个问题：
　　一、在我执行格式化namenode的时候。不停的跳出一个一行语句说cygwin '\r'command not found。
　　在网上搜过之后，大部分给出的解决方法是：“其实，很简单，就是不要用winrar解压缩，而应该用linux下的tar工具来解压缩，然后问题解决”。
　　我按照这个方法，用tar命令在cygwin中解压之后还是有这个问题，没有解决。
　　后来发现，关键问题在那个hadoop-env.sh文件上。我们在windows的环境下讲这个文件打开进行了编辑，于是里面所有的\n都转成了\r。这个在linux环境下是不认识的，在cygwin下也是。
　　所以，解决方法就是，把这个文件中所有的\r都转换成\n.具体的方法是,通过路径转到这个文件,对它执行dos2unix操作。执行完之后记得不要再打开了。正确的步骤是打开hadoop-env.sh进行相关修改后，执行dos2unix命令。这样再namenode -format的时候就不会出现这个错误了。
　　二、还是在namenode -format的时候的问题，老是提示我找不到路径。
　　路径问题有几个要注意的地方。
　　a.java要配置好环境变量，为了保险，最好把系统环境变量和当前的用户的环境变量都要添加。特别是后者。
　　b.cygwin要配置好环境变量，这个在之前配置的那篇文章里面讲过了。
　　c.hadoop-env.sh中的JAVA_HOME要改掉，然后把那句话前面的注释用的#去掉。如果路径名有空格的话，要扩上双引号。
　　d.也就是我的这个错误。路径名中的\要写成\\。这个错误纠结了我很久.所以，光复制是不行的。
　　三、最后这个问题是困扰我时间最长的，但是却是最简单的一个问题。走到最后了，但是老是迈不过去那个槛：就是在Eclipse连接的时候，老是说不能连接。can't connect，连接不上，各种errors.具体的描述语句我忘记了。
　　我一直以为是自己的连接参数没有配好的问题。不停的new和edit Map\Reduce的配置，怎么都成功不了。导致我不停去寻找看是不是之前的配置步骤哪里错了。最后发现，是软件的版本问题。虽然教程里面要求的hadoop是0.19.2版本的，但是我下载的是0.20.2版本的，因为是一个同学推荐的，说是很稳定的一个版本。就因为这个版本的错误导致一直连接不上。
　　所以，最后得出结论就是。在windows用cygwin配置hadoop环境的时候一定要选择0.19.2的版本。
　　如果还有其他问题，可以给我留言交流。因为配置了很久，所以基本上该遇到的问题都遇到了。只是这几个是印象比较深刻的。