Windows下基于Eclipse的Hadoop开发环境完全配置（二）

超酷小

　　接下来开始配置Hadoop了，
　　一，解压文件
　　打开一个cygwin，输入以下命令
　　cd .
　　explorer .
　　会弹出一个新窗口，把原来下载的hadoop压缩文件放到里面，并解压。个人认为，其实不一定要放到cygwin的用户根目录下，没试过。
　　二，配置Hadoop
　　打开解压出来的文件夹，在 hadoop-0.19.2/conf 目录下有一个 hadoop-site.xml 文件，打开，在原有的
　　<configuration>
　　</configuration>间插入
　　<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9100</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9101</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
　　保存。
　　三，格式化Name Node
　　打开一个cygwin，转到hadoop目录下，如果按照前面的解压，直接用cd hadoop-0.19.2就可以了，接着输入以下命令：
mkdir logs
bin/hadoop namenode -format
　　四，安装Eclipse插件
　　打开解压后的文件夹，把hadoop-0.19.2/contrib/eclipse-plugin下的hadoop-0.19.2-eclipse- plugin.jar文件拷到eclipse 的plugins目录下，重启eclipse，在Window-》Open Perspective-》other，弹出的窗口中应该有一项Map/Reduce项，代表安装成功了。如果没有的话，把eclipse下的 configuration/org.eclipse.update文件夹删了，再重启eclipse。

五，启动Hudoop集群

　　启动五个cygwin。
　　在第一中启动NameNode，执行：
cd hadoop-0.19.2
bin/hadoop namenode
　　在第二个中启动Secondary NameNode，执行：
cd hadoop-0.19.2
bin/hadoop secondarynamenode
　　第三个中启动job tracker 执行：
cd hadoop-0.19.2
bin/hadoop jobtracker
　　第四个中启动data node ，执行
cd hadoop-0.19.2
bin/hadoop datanode
　　最后一个启动 task tracker， 执行：
cd hadoop-0.19.2
bin/hadoop tasktracker
　　六，在Eclipse中配置环境
　　启动eclipse，转到Map/Reduce Perspective,在上图的Map/Reduce Locations里，新建一个Location，填入以下值
　　* Location Name -- localhost
* Map/Reduce Master
o Host -- localhost
o Port -- 9101
* DFS Master
o Check "Use M/R Master Host"
o Port -- 9100
* User name -- 默认

七，上传文件到HDFS

　　打开一个cygwin，执行
　　cd hadoop-0.19.1
bin/hadoop fs -mkdir In
bin/hadoop fs -put *.txt In
　　这时，在eclipse的Project explorer的DFS location中，应该能反应变化，没有的话，reconnect一下

　　好了，东西都准备好了，下篇就可以开始创建工程了。