1.浅析Hadoop之HDFS

QQ叫紫珊

　　HDFS ,Hadoop Distribute File System,hadoop分布式文件系统。
　　主从架构，分主节点NameNode,从节点DataNode.当然还有个SecondaryName,但这不是浅析里的点.这里主要讲下namenode和datanode的基本概念，
　　并描述下读写过程.
　　NameNode中存储的主要是文件的元数据，比如文件名,文件的位置路径,文件的大小 ,文件的块信息,文件的副本数
　　DataNode是真正存储文件的地方,文件以block[hadoop2.x版本一个block的默认大小是128MB,加入你上传200MB,那将需要两个Block]块的形式存储，而且默认有3个副本分别默认的放在同一个机架上的不同机器
　　和不同机架上的机器,Datanode 以数据块作为容错单位 通常一个数据块会备份到三个 datanode 上，如果一个
　　datanode 出错，则会去其他备份数据块(就近原则同一个机架上的机器,没有再去其他机架上)的 datanode 上读取，并且会把这个 datanode上的数据块再复制一份 以达到备份的效果！
　　　　读的过程就是客户端向NameNode获取要读取文件的位置等需要的信息，然后再去对应的datanode上读数据,
　　写的过程就是Client 向 NameNode 发起文件写入的请求。NameNode 根据文件大小和文件块配置情况，返回给 Client 它所管理部分 DataNode的信息。
　　Client 将文件划分为多个 Block，根据 DataNode 的地址信息，按顺序写入到每一个DataNode 块中