Hadoop 开发环境配置

xiaoxue85

　　
搭建环境，目前网络上一个比较全面细致的文档是：
tutorial


按照这个配置好了后，一般都能正常启动，简单的检查，就是在bash 执行jps命令，看datanode, namenode, jobtracker,tasktracker 以及secondarydatanode是否启动了。没有查看日志：{$hadoop.home}/logs。

Core-site.xml


hadoop.tmp.dir
/app/hadoop/tmp
A base for other temporarydirectories.


fs.default.name
  hdfs://10.240.12.52:54310



Mapred-site.xml


mapred.job.tracker
10.240.12.52:54311



Hdfs-site.xml


dfs.replication
1




注意：不管那种方式部署hadoop，如果你的操作系统为Windows, 都必须安装cygwin,同时加入到path中去。
不然会有很多错误，如chmod 没有找到之类。


以下为正确配置后，Eclipse 上运行word count程序的输出，hadoop 版本0.20.2, eclipse plugin version 0.20.*snap*.jar。
在插件配置过程中，需要注意的地方主要是dfs的路径，用户名，ssh一定要配置正确，出现问题主要看看日志，基本上你能碰到的问题，总会有其他人也碰到，如果看了日志还解决不了，找google，实在不行，看源代码。
话说我3个配置文件就是看了源代码自己摸索出来的。

11/09/19 16:41:08 INFOjvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker,sessionId=

11/09/19 16:41:08 INFOinput.FileInputFormat: Total input paths to process : 3

11/09/19 16:41:09 INFOmapred.JobClient: Running job: job_local_0001

11/09/19 16:41:09 INFOinput.FileInputFormat: Total input paths to process : 3

11/09/19 16:41:09 INFOmapred.MapTask: io.sort.mb = 100

11/09/19 16:41:09 INFOmapred.MapTask: data buffer = 79691776/99614720

11/09/19 16:41:09 INFOmapred.MapTask: record buffer = 262144/327680

11/09/19 16:41:09 INFOmapred.MapTask: Starting flush of map output

11/09/19 16:41:09 INFOmapred.MapTask: Finished spill 0

11/09/19 16:41:09 INFOmapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in theprocess of commiting

11/09/19 16:41:09 INFOmapred.LocalJobRunner:

11/09/19 16:41:09 INFOmapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done.

11/09/19 16:41:09 INFOmapred.MapTask: io.sort.mb = 100

11/09/19 16:41:10 INFOmapred.MapTask: data buffer = 79691776/99614720

11/09/19 16:41:10 INFOmapred.MapTask: record buffer = 262144/327680

11/09/19 16:41:10 INFOmapred.JobClient:  map 100% reduce 0%