Hadoop的Namenode的容灾处理

51qsx

　　Hadoop的namenode是关键节点，虽然业务尽量单一，减少出错几率，但是程序都有出错的可能，所以还是需要有效的办法来解决，如下是权威指南里面介绍的两种方法：
　　1、备份那些组成文件系统元数据持久状态的文件。hadoop可以通过配置使namenode在多个文件系统上保存元数据的持久状态。这些写操作是实时同步的，是原子操作。一般的配置是：将持久状态写入本地磁盘的同时，写入一个远程挂载的网络文件系统NFS
　　2、运行一个辅助的namenode，但它不能被用作namenode。这个辅助的namenode的重要作用是定期通过编辑日志合并命名空间镜像，以防止编辑日志过大。这个辅助namenode一般在另一台单独的物理计算机上运行，因为它需要占用大量CPU时间与namenode相同容量的内存来执行合并操作。它会保存合并后的命名空间镜像的副本，并在namenode发生故障时启用。辅助namenode保存的状态总是滞后于主节点，所以在主节点全部失效时，难免会丢失部分数据，在这种情况下，一般把存在在NFS上的namenode元数据复制到辅助namenode并作为新的主namenode运行。




需要逐个试验一下，看哪种比较合适

-------------------------------------------------------------------------------------------------------------------

 

作者：CNZQS|JesseZhang  个人博客：CNZQS(http://www.cnzqs.com)

版权声明：除非注明，文章均为原创，可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明 

--------------------------------------------------------------------------------------------------------------------