hadoop常见配置含义备忘录

jxwjq

　　列了很多配置的参数
　　
　　其中红色的配置为必须配置参数
　　
  参数         取值         备注           fs.default.name   NameNode 的URI。  hdfs://主机名/    dfs.hosts/dfs.hosts.exclude 许可/拒绝DataNode列表。 如有必要，用这个文件控制许可的datanode列表。          dfs.replication  默认： 3
   数据复制的分数    dfs.name.dir   　　举例：/home/username/hadoop/namenode
　　默认：/tmp
  当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。           dfs.data.dir   　　举例：/home/username/hadoop/datanode
　　默认： /tmp
            当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。         


   mapred.system.dir Map/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/ 。        这个路径是默认文件系统（HDFS）下的路径， 须从服务器和客户端上均可访问。          mapred.local.dir 本地文件系统下逗号分割的路径列表，Map/Reduce临时数据存放的地方。        多路径有助于利用磁盘i/o。   mapred.tasktracker.{map|reduce}.tasks.maximum 某一TaskTracker 上可运行的最大Map/Reduce任务数，这些任务将同时各自运行。                  默认为2（2个map和2个reduce），可依据硬件情况更改。          mapred.job.tracker  JobTracker 的主机（或者IP）和端口。           主机:端口 。   mapred.hosts/mapred.hosts.exclude 许可/拒绝TaskTracker列表。           如有必要，用这个文件控制许可的TaskTracker列表。   


    hadoop.job.history.user.location   　　默认：mapred.output.dir/_logs/history
　　也可以设置为none 来停用
  作业的历史文件记录目录  　　
　　conf/slaves 写入全部的slave的机器名或者IP
　　
　　nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。
　　hadoop 默认的block 是 64MB
　　
　　查看namenode 是否启动：http://localhost:50070/
　　查看jobtracker是否启动：http://localhost:50030/