安装Hadoop——Hadoop实战初级部分学习笔记

bobpxp

3、安装Hadoop
1、window上装
　　（建议xp 玩玩就行了，实际要在linux）
　　1.1、装JDK（不要装到带空格等目录中。。）
　　1.2、安装cygwin
　　需要安装oenSSL、VIM、Base
　　1.3、在cygwin安装SSHD
　　ssh-host-config
　　1.4、启动SSHD
　　net start sshd
　　1.5、实现ssh无密码登录
　　ssh-keygen
　　完成后会在~/.ssh/生成两个文件：id_dsa和id_dsa.pub
　　Cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 完成
　　1.6、安装hadoop
　　下载解压即可
　　1.7、配置
　　先了解概念：
　　HDFS NameNode 管理节点 DataNode 数据节点 SecondaryNameNode数据源信息备份整理节点
　　MapReduce JobTracker 任务管理节点 TaskTracker 任务运行节点
　　配置文件
　　core-site.xml common属性配置
　　hdfs-site.xml HDFS属性配置
　　mapred-site.xml MapReduce属性配置
　　hadoop-env.sh hadoop环境变量配置
　　修改hadoop-env.conf-à加 export JAVA_HONME
　　其他的修改下载ppt看吧，不记了。
　　接下来启动hadoop，还是看ppt吧，ppt上挺全的；
　　在win上边就是玩玩，实际环境还是linux。
　　给大家个ppt地址：http://sishuok.com/forum/posts/list/5316.html
2、linux上装
　　ubuntu开发即可，之前用过，挺好的；
　　1、安装jdk，jdk需要下bin结尾的那个
　　2、配置JAVA_HOME及PATH环境变量，具体请参考ppt，加到.bashrc  然后运行 . .hashrc
　　步骤和win上差不多。还没装ubuntu系统，目前就用win的吧。
3、HadoopUI
　　50070端口-àhdfs   50030--àjobTracker
　　HDFS通信端口à9000  MapReduce通信端口à9001
　　管理界面
　　http://localhost:50070 hdfs
　　http://localhost:50030 mapreduce
　　通过UI可操作如文件系统、日志
4、word counter
　　1、生成两个文件 如input/file1 input/file2
　　2、在HDFS上建个目录，如hadoop fs –mkdir /tmp/input
　　3、把file1、分file放入HDFS  hadoop fs –put input/* /tmp/input
　　4、查看 hadoop fs –ls /tmp/input
　　5、执行wordcounter
　　hadoop jar hadoop-example-1.0.0.jar wordcounter  /tmp/input /tmp/output
　　6、运行完查看结果
　　hadoop fs –cat /tmp/output/part –r -00000
5、集成Eclipse
　　1、添加jar包
　　2、复制配置文件
　　3、不要用插件
　　http://sishuok.com/forum/blogPost/list/0/6911.html