灵活管理Hadoop各发行版的运维利器 - vSphere Big Data Extensions

asdrtu

　　vSphere Big Data Extensions（BDE）提供了部署Hadoop多种厂商发行版的巨大灵活性，为客户提供三大价值：

• 　　为所支持的Hadoop版本提供调优的基础架构，VMware和Hadoop发行版厂商彼此认证
  
• 　　在统一虚拟化平台上部署、运行和管理异构的Hadoop集群，满足多租户的不同需求
  
• 　　不必被单一Hadoop发行版厂商所绑定，保护投资回报
  

管理Hadoop发行版
　　Apache Hadoop 1.2是开源社区的原生Hadoop，BDE已经包含Apache Hadoop的安装包，用户无需额外下载和配置，可以直接创建基于Apache Hadoop版本的Hadoop集群。
　　Serengeti CLI提供了命令行，查看当前支持哪些Hadoop发行版：
　　distro list
　　这个命令返回当前BDE实例管理着哪些Hadoop发行版，包括发行版的名称，厂商，版本号，所支持Hadoop相关组件, 和是否支持HVE等信息。如下图所示：

　　用户也可以通过BDE的Web UI来查看所有已添加的Hadoop发行版

• 　　打开vCenter Server Web Client，并登录
  
• 　　左边导航栏，点击Big Data Extensions
  
• 　　在Inventory Lists下，点击Hadoop Distributions查看结果
  

　　如下图所示：

　　通过上面的BDE的例子发现，其不仅支持Apache Hadoop 1.2，还支持其它商业Hadoop发行版。命令行和UI查看的方法不同，但结果是一致的。
　　读者会问：BDE默认发行并安装Apache Hadoop 1.2这个社区的发行版，其它Hadoop发行版是哪里来的？如何去管理它们？我们要从两个层面去理解这个问题：

• 　　产品发行层面：除了Apache Hadoop，其余Hadoop发行版都是厂家支持的商业发行版需要软件发行许可，BDE作为VMware商业产品，目前不支持绑定发布。但BDE提供了命令行管理工具，让用户有办法自己部署和配置Hadoop商业发行版。
  
• 　　发行版管理层面：BDE作为一个管理平台能够管理多种商业发行版，并且创建和管理异构的Hadoop集群。VMware已先后与Greenplum, Pivotal, Cloudera和MapR等大数据厂商宣布合作关系，在vSphere虚拟化环境下运行这些厂商Hadoop集群也获得了官方的认证。
  

　　下面的表格是官方BDE 1.0 Beta所能支持的发行版本和部署方式：
　　发行版本
　　缩略名
　　厂商（社区）
　　部署方式
　　Apache  Hadoop 1.2
　　Apache
　　Apache社区
　　Tarball
　　GPHD 1.2
　　GPHD
　　Pivotal
　　Tarball
　　Pivotal HD 1.0
　　PHD
　　Pivotal
　　Yum
　　Hortonworks  1.3
　　HDP
　　Hortonworks
　　Tarball
　　CDH3 Update  6
　　CDH3u6
　　Cloudera
　　Tarball
　　CDH 4.2  MapReduce v1
　　CDH4
　　Cloudera
　　Yum
　　CDH 4.2 YARN
　　CDH4
　　Cloudera
　　Yum
　　MapR 2.1.3
　　MapR
　　MapR
　　Yum
　　在接下来的博文里，会以具体Hadoop发行版为实例来展示在BDE中，如何灵活部署新的Hadoop发行版，并创建相应的Hadoop集群：

• 　　《大数据虚拟化实例：Tarball方式部署Hadoop发行版》
  

　　如有任何问题，您可以发邮件至bigdata_apac@vmware.com。
　　关于vSphere Big Data Extensions:
　　VMware vSphere Big Data Extensions（简称BDE）基于vSphere平台支持大数据和Hadoop作业。BDE以开源Serengeti项目为基础，为企业级用户提供一系列整合的管理工具，通过在vSphere上虚拟化Hadoop，帮助用户在基础设施上实现灵活、弹性、安全和快捷的大数据部署、运行和管理工作。了解更多关于VMware vSphere Big Data Extensions的信息，请参见http://www.vmware.com/hadoop。
　　作者简介：

　　张君迟
　　VMware大数据解决方案项目经理
　　目前负责VMware大数据解决方案的管理和市场工作。曾担任VMware数据库管理产品vFabric Data Director产品经理，对虚拟化、云计算、关系型数据库和大数据等企业产品、技术方案和市场有深入的理解和实战经验。在此之前，就职于Microsoft从事分布式系统的产品管理和研发工作。