设为首页 收藏本站
查看: 878|回复: 0

发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持

[复制链接]

尚未签到

发表于 2015-11-11 15:07:22 | 显示全部楼层 |阅读模式
发布Apache Hadoop 2.6.0
——异构存储,长时间运行的服务与滚动升级支持

  我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!
  特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心,Hadoop的不断吸引新的引擎在数据平台中运行,作为组织想要在一个单一的存储库高效地存储数据,并与它同时以不同的方式进行交互。
  非常感谢所有的贡献者和提交这些人所合作过这个版本,共有近900个 JIRA问题在四个方面解决的:
·Hadoop通用:231个 JIRA问题解决
·Hadoop的HDFS:305个 JIRA问题解决
·Hadoop的YARN:290个 JIRA问题解决
·Hadoop的MapReduce的:70个 JIRA问题解决
Apache Hadoop2.6.0的亮点
  以下是有关的最重要的特征的一些细节。对于功能,改进和bug修复的完整列表,请参阅发行说明:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/releasenotes.html。
DSC0000.jpg
  加强支持异构存储层的HDFS
  管理员可以在一个限定的Datanode跨磁盘存储层,以及应用程序可利用的API将数据存储到这些不同的存储层。这意味着管理员可以优化他们的应用程序通过使用Hadoop运行:
·在SSD存储层以提高读/写延迟
·内存存储层进行快速读/写要么临时数据或故障的应用程序(如星火,TEZ等)
·归档存储层,以提高存储效率。
  支持长时间运行的服务在YARN
  Apache Hadoop2.6.0包括增强了核心Apache Hadoop YARN平台,使长期存在的服务(如Apache Storm,Apache Samza,Apache Kafka或Apache HBase),可以在YARN中运行,并充分利用其优势的容错,安全性和易维护性。
  Apache Hadoop最初架构,支持批量处理数据。但有些应用“永远在线”,随时准备处理输入数据。例如,Apache  Storm必须准备在一天中的任何时间实时处理数据流,在一年中的任何一天。
  用Hadoop2.6.0,集群现在可以利用相同的基础设施安排,执行和管理所有期限的多个工作负载。长住服务,如 Storm和HBase可以和平共处的一起是在特定的时间点(如Apache Hive或Apache Pig),用于特设工作应用程序。
  滚动升级在YARN工作,保留重新启动
  新的工作,维护重启功能可以让应用程序保持其完成和正在进行的国家,在一个节点故障或重启的脸。 YARN现在可以提供滚动以最小的服务质量下降用于运行应用程序的升级支持。已完成或正在进行中的应用工作节点重启过程中保持不变,进度回升,而不必从头开始重新启动所有任务。
展望Apache Hadoop2.7版本
  为ApacheHadoop的下一个版本的主要驱动力正在向JDK7+即我们现在要求使用JDK7(HADOOP-10530:https://issues.apache.org/jira/browse/HADOOP-10530)的ApacheHadoop的前进,也支持JDK8作为一个运行时(HADOOP-11090:https://issues.apache.org/jira/browse/HADOOP-11090)。
  在ApacheHadoop社区开展的其他重要活动有:
·在HDFS进行纠删码支持 -  HDFS-7285:https://issues.apache.org/jira/browse/HDFS-7285
·支持磁盘YARN调度和隔离的资源 -  YARN-2139:https://issues.apache.org/jira/browse/YARN-2139
·容器资源委派延长YARN资源管理 -  YARN-1488:https://issues.apache.org/jira/browse/YARN-1488
  与往常一样,你可以沿着发展,通过跟踪路线图的Wiki:http://wiki.apache.org/hadoop/Roadmap 的Apache Hadoop跟随。
致谢
  非常感谢大家谁促成了这一版本,和整个Apache  Hadoop社区。

相关链接
·下载Apache Hadoop2.6.0版本:http://hadoop.apache.org/releases.html#18+November%2C+2014%3A+Release+2.6.0+available。
·阅读发行说明的Hadoop-2.6.0:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/releasenotes.html。

  本文翻译自:http://zh.hortonworks.com/blog/announcing-apache-hadoop-2-6-0/

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-138006-1-1.html 上篇帖子: Redhat 6.4-x64 编译 Hadoop-2.7.1并分布式安装 下篇帖子: Hadoop c++开发
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表