Hadoop：The Definitive Guid 总结 Chapter 9 构建MapReduce集群

超酷小

　　1.集群规范
　　1)配置规范
　　一般Hadoop DataNode和TaskTracker节点典型机器具有吐下规范：

• 处理器：2个四核 2~2.5 GHz CPU
  
• 内存：16~24 ECC RAM
  
• 存储器：4*1TB SATA 磁盘
  
• 网络：千兆以太网
  

　　2).网络拓扑
　　Hadoop集群架构包含两级网络拓扑，如下图所示，机架拓扑由两个网络位置描述，例如：/交换机1/机架1 和 /交换机1/机架2。这个架构的一突出特点是：同一机架内部节点间的总宽带要远高于不同机架间的节点的宽带
　　
　　
　　2.集群的构建原装、SSH配置、Hadoop配置
　　这里只给出Yarn的典型伪分布配置 分布式配置与此差别不大 详见http://hadoop.apache.org/ 里面的配置安装文档较比权威指南的要更加权威和准确
　　core.xml







fs.defaultFS
hdfs://localhost:8020


　　
　　hdfs.xml







dfs.replication
1


dfs.namenode.name.dir
/home/yourname/Hadoop/hadoop-0.23.1/dfs/name


dfs.datanode.data.dir
/home/yourname/Hadoop/hadoop-0.23.1/dfs/data


dfs.federation.nameservices
ns1


dfs.namenode.rpc-address.ns1
localhost:8020


dfs.namenode.http-address.ns1
localhost:23004


dfs.namenode.secondary.http-address.ns1
localhost:23005


　　
　　mapred.xml







mapreduce.framework.name
yarn


mapreduce.cluster.temp.dir
/home/yourname/Hadoop/hadoop-0.23.1/mapred/temp


mapreduce.cluster.local.dir
/home/yourname/Hadoop/hadoop-0.23.1/mapred/local


　　
　　yarn-site.xml







yarn.nodemanager.aux-services
mapreduce.shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.address
localhost:8042


yarn.resourcemanager.scheduler.address
localhost:8032


yarn.resourcemanager.webapp.address
localhost:18089


yarn.resourcemanager.resource-tracker.address
localhost:8027


yarn.nodemanager.resource.memory-mb
4096


yarn.resourcemanager.admin.address
localhost:8143


　　

　　3.安全性
　　Kerberos实现了用户验证，它的职责在于鉴定登陆账号是否是他所声称的用户，Hadoop则决定这个用户到底有多少权限。
　　使用Kerberos时，客户端要经过三个步骤来获取服务：
　　1).认证      
　　2).授权  
　　3).服务请求
　　如下图：

　　另外还有一种认证方法--委托令牌，它有服务器创建(NameNode)，可以视为客户端和服务器之间共享的密文
　　
　　4.利用基准测试程序测试Hadoop集群
　　1).使用TestDFSIO来测试HDFS
　　TestDFSIO能够用于测试HDFS的I/O性能，它用一个MapReduce作业并行地读或写作业
　　2).使用Sort程序测试MapReduce
　　整个测试含三个步骤：随机才生一些数据，排序操作，验证结果。
　　
　　5.云端Hadoop
　　主要举例在Amazon EC2上的Hadoop  详见相关资料