我的hadoop安装经历

sakko51150

　　自己对分布式系统比较感兴趣，因此这短时间一直在学习有关分布式系统方面的信息。简单讲讲我安装hadoop的经历吧。
　　软硬件环境：win server2003 ，hadoop1.0.1，cygwin，java1.6.
　　1.首先是安装java并配置环境变量。这部分不说了，path，classpath，java_home.
　　2.安装cygwin，因为方便我以后学习linux，我的cygwin是完全安装的。用的时间比较长，安装完大约6G的样子。
　　3.映射java的环境变量，ln -s "C:\Java1.6\jdk1.6.0_20" /usr/local/jdk1.6.0_20
　　4.配置ssh，执行ssh-host-config，除了privilege separation should be used 为no之外，其他的全部为yes。 cygwin这项的时候输入ntsec
　　5.启动sshd服务。
　　6.将ssh配置为不需要登录验证。执行
　　$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　7.配置hadoop，下载hapdoop1.0.1 ，运用tar方式解压缩，到administrator文件夹底下。
　　8.编辑文件/usr/local/hadoop-1.0.1/conf/hadoop-env.sh增加
export JAVA_HOME=/usr/local/jdk1.6.0_20
　　9.配置core-site.xml、hdfs-site.xml、mapred-site.xml文件
　　core-site.xml

• 
  
•    
  
•         fs.default.name
  
•         hdfs://localhost/
  
•    
  
• 
  

　　
　　hdfs-site.xml

•   
  
•       
  
•         dfs.replication  
  
•         1  
  
•       
  
• 
  

　　mapred-site.xml

•   
  
•       
  
•         mapred.job.tracker  
  
•         localhost:8021  
  
•       
  
• 
  

　　上面由于我是用ｗｉｎｄｏｗｓ编辑的，因此需要转换一下，运行dos2unix file　将换行符换掉。
　　１０.建立日志目录，并格式化namenode。执行
　　　　mkdir logs
      bin/hadoop namenode -format
　　11.开启hadoop
　　　　./start-all.sh
　　12.查询相关状态
　　13.下载eclipse的hadoop1.0.1的插件。这里仍然有问题，我们需要对rawLocalFileSystem这个java类进行重新编译，这里具体的修改方法是根据http://cjnetwork.iteye.com/blog/1477615这篇博客学习的。
　　14.最后是在eclipse中的相关配置，暂时对自己的学习情况进行一些记录，也方便自己进行下一次的配置。