总算在window下运行起来了hadoop小记

zhangsanfeng88

　　首先安装JDK 直接安装到C盘符下就行了
　　然后安装cygwin，在选择openssl,openssh
　　准备在elipse下编译的 还需要安装“BaseCategory”下的“GUN SED“
　　建议还安装
　　还建议将“EditorsCategory”下的vim安装，以方便在Cygwin上直接修改配置文件；“DevelCategory”下的subversion建议安装，
　　然后把JDK和cygwin安装路径配置环境变量
　　需要配置的环境变量包括PATH和JAVA_HOME：JAVA_HOME指向安装目录，Cygwin的bin目录，以及Cygwin的usr\bin目录都必须添加到PATH环境变量中
　　我的用的是hadoop-0.20.1下面是下载的 
　　http://dl.dbank.com/c0b3kwezsa
点击桌面上的
Cygwin
图标，启动
Cygwin
，执行
ssh-host-config
命令
　　点击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config命令 查看是否SSH 执行成功
　　再查看我的电脑---服务----启动CYGWIN sshd服务
　　在执行ssh-keygen命令生成密钥文件
　　然后在进入 Cygwin/home/用户文件夹/ 
　　执行ls -a 命令 会看到一个隐藏的.ssh 文件夹 没有自己创建
　　再执行cp id_rsa.pub authorized_keys
　　再执行ssh localhost  然后输入yes即可
　　失败可以把该文件删除 重新来一次
　　然后把下载下来的hadoop 解压到c:/hadoop/run 目录下
　　把conf 下的hadoop-env.sh #JAVA_HOME  地#号去掉 填上自己的JDK安装目录
ssh-keygen
　　列如我的 export JAVA_HOME=/cygdrive/c/Java/jdk1.6.0_23  前面cygdrive这个必须写。不知道的可以在cygwin 下执行 cd $JAVA_HOME 查看当前路径
ore-site.xml
、
hdfs-site.xml
和
mapred-site.xm
　　再修改里面的core-site.xml、hdfs-site.xml和mapred-site.xml
　　查找自己安装hadoop下面的src文件夹
　　core目录下的core-default.xml文件复制到conf目录下，并将core-default.xml文件名改成core-site.xml。修改fs.default.name的值，端口自己定义只要没暂用即可我定义的是localhost:10001
　　hdfs目录下的hdfs-default.xml文件复制到conf目录下，并将hdfs-default.xml文件名改成hdfs-site.xml。不需要再做其它修改
　　mapred目录下的mapred-default.xml文件复制到D:\hadoop\run\conf目录下，并将mapred-default.xml文件名改成mapred-site.xml。修改mapred.job.tracker的值端口自己定义没用即可 我定义的是localhost:10002
　　在回头到自己安装的hadoop/bin下面
　　格式化文件节点
　　执行./hadoop namenode -format
　　在执行./start-all.sh
　　如果失败 可以执行./stop-all.sh
　　再把上面的重复一次
　　成功了可以执行下面
检视分布式文件系统状况，其中 Live Nodes 字段应当显示为正常运行并连接到 namenode服务器的datanode个数
http://192.168.1.113:50070/dfshealth.jsp
本地主机的Hadoop Map / Reduce的管理
检视集群运转状况，其中 Nodes 字段应当显示正常运行并连接到 jobtracker 的 task tracker 个数。
　　http://192.168.1.113:50030/jobtracker.jsp 
　　-----------暂记