HDFS--Hadoop分布式文件系统专项基础概述

FragranceM

　　1. 概述
　　当数据集超过一个单独的物理计算机的存储能力时，便有必要将它分布到多个独立的计算机。管理着跨计算机网络存储的文件系统称为分布式文件系统。分布式文件系统基于网络，所有网络编程的复杂性都会随着而来，所以分布式文件系统比普通磁盘文件系统更复杂，这个文件系统能容忍节点故障而不损失数据，这本身就是一个极大的挑战。
　　2. HDFS的设计
　　HDFS是以流式数据访问模式存储超大文件而设计的文件系统，在商用硬件的集群上运行。
　　2.1 超大文件
　　目前已经有Hadoop集群存储PB(petabytes)级的数据了。1PB=1024TB
　　2.2 流式数据访问
　　HDFS建立在这样一种思想上：一次写入，多次读取模式是最高效的。一个数据集通常由数据源生成或复制，接着在此基础上进行各种各样的分析。
　　2.3 商用硬件
　　Hadoop无需运行在昂贵并且高可靠性的硬件上。它被设计运行在商用硬件(配置不高的普通硬件)的集群上，因此，至少对于大的集群来说，节点故障的几率还是较高的。HDFS在面对这种故障时，被设计为能够继续运行而让用户察觉不到明显的中断。
　　3. 不适合HDFS应用的情况
　　3.1 低延迟数据访问
　　需要低延迟数据访问--在毫秒范围内的应用并不适合HDFS。HDFS是为达到高数据吞吐量而优化的，这有可能以延迟为代价。
　　3.2 大量的小文件
　　名称几点(namenode)存储着文件系统的元数据，因此文件数量的限制也由名称节点的内存量决定。
　　3.3 多用户写入，任意修改文件
　　HDFS的文件只有一个写入者，而且写操作总是在文件的末尾。它不支持多个写入者，或是在文件的任意位置修改。
　　4. HDFS的概念
　　4.1 块
　　一个磁盘有它的块大小，代表着磁盘能够读写的最小数据量。文件系统通过处理大小为一个磁盘块大小的整数倍的数据块(此数据块为文件系统块)来运作这个磁盘。文件系统快一般为几千字节，而磁盘块一般为512字节。
　　4.2 HDFS的块
　　HDFS的块与一般的文件系统的块的概念相似，只不过是更大的单元，默认为64MB。与单一磁盘上的文件系统相似，HDFS上的文件也被分为以块为大小的分块，作为单独单元存储。但与磁盘的块不同的是，HDFS中小于一个块大小的文件不会占据整个块的空间。HDFS的块比磁盘的块大，目的是为了减少寻址开销。
　　4.3 分布式文件系统使用抽象块的好处
　　4.3.1 一个文件的容量可以大于网络中任意一个磁盘的容量；文件的分块(block)不需要存储在同一个磁盘上，因此它可以利用集群上的任意一个磁盘。
　　4.3.2
　　使用抽象块单元而不是文件会简化存储子系统，简单化是所有系统的追求，但对于故障种类繁多的分布式系统来说尤为重要。存储子系统控制的是块，简化了存储管理。(因为块的大小固定，计算一个磁盘能存多少块就相对容易)，也消除了对元数据的顾虑(块只是一部分存储的数据，而文件的元数据，如许可信息，不需要与块一同存储，这样一来，其它系统就可以正交的管理数据。)
　　不仅如此，块很适合于为提供容错和实用性而做的复制操作。为了应对损坏的块以及磁盘或机器的故障，每个块都在少数其它分散的机器(一般为3个)进行复制。如果一个块损坏了，系统会在其它读取另一个副本，而这个过程对用户是透明的。一个因损坏或机器故障而丢失的块会在其他候选地点复制到正常运行的机器上，以保证副本的数量回到正常水平。
　　4.4 名称节点与数据节点
　　HDFS集群有两种节点，以管理者-工作者(master-slave)模式运行，即一个名称节点(管理者)和多个数据节点(工作者)。
　　4.4.1 名称节点(namenode)
　　名称节点管理文件系统的命名空间，它维护着这个文件系统树及这个树内所有的文件和索引目录。这些信息以两种形式将文件永久保存在本地磁盘上：命名空间镜像和编辑日志。名称节点也记录着每个文件的每个块所在的数据节点，但它并不永久保存块的位置，因为这些信息会在系统启动时由数据节点重建。
　　4.4.2 数据节点(datanode)
　　数据节点是文件系统的工作者，它们存储并提供定位块的服务(被用户或名称节点调用时)，并且定时向名称节点发送它们存储的块的列表。
　　4.4.3 避免名称节点故障的机制
　　没有名称节点，文件系统将无法使用，事实上，如果运行名称节点的机器被毁坏了，文件系统上所有的文件都会丢失，因为我们无法知道如何通过数据节点的块重建文件。因此，名称节点能经受故障是非常重要的。
　　(1) 复制哪些组成文件系统元数据持久状态的文件。Hadoop可以通过配置使名称节点在多个文件系统上写入其持久化状态，这些写操作是具有同步性的。一般的选择是，在本地磁盘上写入的同时，写入一个远程NFS挂载(mount)。
　　(2) 运行一个二级名称节点，虽然它不能作为名称节点使用。二级名称节点的重要作用就是定期的通过编辑日志合并命名空间镜像，以防止编辑日志过大。这个二级名称节点一般在其它单独的物理计算机上运行，因为它也需要占用大量CPU和内存来执行合并操作。它会保存合并后的命名空间镜像副本，在名称节点失效后就可以使用。但是，二级名称节点的状态时比主节点滞后的，所以主节点的数据若全部丢失，损失仍在所难免。在这种情况下，一般把存在NFS上的主名称节点元数据复制到二级名称节点上并将其作为新的主名称节点运行。