安装Hadoop——Hadoop实战初级部分学习笔记
3、安装Hadoop1、window上装
（建议xp 玩玩就行了，实际要在linux）
1.1、装JDK（不要装到带空格等目录中。。）
1.2、安装cygwin
需要安装oenSSL、VIM、Base
1.3、在cygwin安装SSHD
ssh-host-config
1.4、启动SSHD
net start sshd
1.5、实现ssh无密码登录
ssh-keygen
完成后会在~/.ssh/生成两个文件：id_dsa和id_dsa.pub
Cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 完成
1.6、安装hadoop
下载解压即可
1.7、配置
先了解概念：
HDFS NameNode 管理节点 DataNode 数据节点 SecondaryNameNode数据源信息备份整理节点
MapReduce JobTracker 任务管理节点 TaskTracker 任务运行节点
配置文件
core-site.xml common属性配置
hdfs-site.xml HDFS属性配置
mapred-site.xml MapReduce属性配置
hadoop-env.sh hadoop环境变量配置
修改hadoop-env.conf-à加 export JAVA_HONME
其他的修改下载ppt看吧，不记了。
接下来启动hadoop，还是看ppt吧，ppt上挺全的；
在win上边就是玩玩，实际环境还是linux。
给大家个ppt地址：http://sishuok.com/forum/posts/list/5316.html
2、linux上装
ubuntu开发即可，之前用过，挺好的；
1、安装jdk，jdk需要下bin结尾的那个
2、配置JAVA_HOME及PATH环境变量，具体请参考ppt，加到.bashrc然后运行 . .hashrc
步骤和win上差不多。还没装ubuntu系统，目前就用win的吧。
3、HadoopUI
50070端口-àhdfs 50030--àjobTracker
HDFS通信端口à9000MapReduce通信端口à9001
管理界面
http://localhost:50070 hdfs
http://localhost:50030 mapreduce
通过UI可操作如文件系统、日志
4、word counter
1、生成两个文件 如input/file1 input/file2
2、在HDFS上建个目录，如hadoop fs –mkdir /tmp/input
3、把file1、分file放入HDFShadoop fs –put input/* /tmp/input
4、查看 hadoop fs –ls /tmp/input
5、执行wordcounter
hadoop jar hadoop-example-1.0.0.jar wordcounter/tmp/input /tmp/output
6、运行完查看结果
hadoop fs –cat /tmp/output/part –r -00000
5、集成Eclipse
1、添加jar包
2、复制配置文件
3、不要用插件
http://sishuok.com/forum/blogPost/list/0/6911.html
页:
[1]