【大数据系列】win10上安装hadoop开发环境

ck1987

1、下载hadoop并解压
　　http://hadoop.apache.org/releases.html

2、单机模式配置
　　单机模式不需要进行配置，这种方式下，Hadoop被认为是一个单独的Java进程，经常用来进行调试。

3、伪分布模式
　　伪分布模式可以看做是只有一个节点的集群，在这个集群中，这个节点既是Master也是Slave,既是NameNode也是DataNode,既是JobTracket也是TaskTranker.
　　伪分布式需要修改配置文件hadoop-env.sh  core-site.xml  hdfs-site.xml mapred-site.xml
　　

<!--core-site-->　　
<configuration>  
　　<property>  
　　
　　　　<name>fs.default.name</name>  
　　
　　　　<value>hdfs://localhost:9999</value>  
　　
　　</property>  
　　
　　<property>  
　　
　　　　<name>mapred.child.tmp</name>  
　　
　　　　<value>/cygdrive/d/hadoop/hadoop-2.8.0/tmp</value>  
　　
　　</property>
　　
</configuration>
　　

　　

<!--hdfs-site-->　　
<configuration>
　　<property>  
　　<name>dfs.replication</name>  
　　<value>1</value>  
　　</property>
　　
</configuration>
　　

　　

<!--mapred-site.xml-->　　
<configuration>
　　<property>  
　　
　　　　   <name>mapred.job.tracker</name>  
　　
　　　　   <value>localhost:9998</value>  
　　
　　    </property>  
　　
　　    <property>  
　　
　　　　   <name>mapred.child.tmp</name>  
　　
　　　　   <value>/cygdrive/d/hadoop/hadoop-2.8.0/tmp</value>  
　　
　　    </property>  
　　
</configuration>
　　

　　4、启动hadoop
　　打开cygwin窗口，进入hadoop文件夹，启动hadoop之前需要先格式化Hadoop的文件系统HDFS，执行命令 bin/hadoop namenoce -format