Linux培训
达内IT学院

400-996-5531

重大新闻:Hadoop 2.6.0发布

  • 发布:Linux培训
  • 来源:网络
  • 时间:2015-07-03 20:58

Hadoop 2.5.2《Apache Hadoop 2.5.2发布:YARN新增部分功能》才刚刚发布不久,Hadoop 2.6.0就发布了,不过从官方网站上看到发布时间居然写的是2014-11-18,比 Hadoop 2.5.2还早,但是从源码下载网站可到,更新时间是2014-11-30,所以Hadoop 2.6.0更新时间可能写错了,应该是2014-11-28。好了,废话不多说了,看下Hadoop 2.6.0的重要特性吧。

Hadoop Common

1、Key management server (beta版本)。Hadoop KMS是基于KeyProvider API的密钥管理服务器,它是一个Java web应用程序,内部提供了客户端和服务器组建,它们之间通过REST API在HTTP协议上通信。客户端是KeyProvider的一种实现,并通过KMS HTTP REST API和KMS交互。KMS和它的客户端内置了安全机制,支持HTTP SPNEGO Kerberos授权和HTTPS安全传输。Hadoop KMS对Hadoop和Hadoop用户来说是一个安全网关。它为现有的Hadoop安全组建(authenticatication, confidentiality)提供了相应的接口。(HADOOP-10433)

2、Credential provider(beta版本)。它是credential providers内部提供管理credentials, passwords and secrets的命令(HADOOP-10922、HADOOP-11031、HADOOP-10607)

Hadoop HDFS

1、异构的存储层进入到第二阶段,主要更新有:(1)、异构存储的应用程序API;(2)、SSD存储层;(3)、内存作为存储层(beta版本)。

2、支持Archival存储

3、Transparent data at rest encryption

4、操作安全的DataNode,无需root访问权限(Operating secure DataNode without requiring root access)。

5、热插拔驱动器,支持动态的添加、删除DataNode上面的磁盘,而不需要重启DataNode(beta版本)。

6、AES(Advanced Encryption Standard)支持快速的wire encryption。

Hadoop YARN

1、在YARN中支持长时间运行的服务,支持应用程序的服务注册。

2、支持滚动升级:(1)、ResourceManager上的工作可以保存起来,并可以继续运行;(2)、NodeManager上的Container可以保存起来,,并可以继续运行。

3、Support node labels during scheduling;

4、在CapacityScheduler中支持基于时间的资源保留(beta版本);

5、为application artifacts提供了一个全局的,共享内存(beta版本);

6、支持在Docker容器中本地地运行applications(alpha版本)。

重要的一些bug修复列表:

Hadoop Common

HADOOP-10433 - Key management server (beta)

HADOOP-10607 - Credential provider (beta)

Hadoop HDFS

Heterogeneous Storage Tiers - Phase 2

HDFS-5682 - Application APIs for heterogeneous storage

HDFS-7228 - SSD storage tier

HDFS-5851 - Memory as a storage tier (beta)

HDFS-6584 - Support for Archival Storage

HDFS-6134 - Transparent data at rest encryption (beta)

HDFS-2856 - Operating secure DataNode without requiring root access

HDFS-6740 - Hot swap drive: support add/remove data node volumes without restarting data node (beta)

HDFS-6606 - AES support for faster wire encryption

Hadoop YARN

YARN-896 - Support for long running services in YARN

YARN-913 - Service Registry for applications

YARN-666 - Support for rolling upgrades

YARN-556 - Work-preserving restarts of ResourceManager

YARN-1336 - Container-preserving restart of NodeManager

YARN-796 - Support node labels during scheduling

YARN-1051 - Support for time-based resource reservations in Capacity Scheduler (beta)

YARN-1492 - Global, shared cache for application artifacts (beta)

YARN-1964 - Support running of applications natively in Docker containers (alpha)

全部的Bug修复看这里

再来看下Hadoop 2.7.0的展望:

HADOOP

Move to JDK7+ HADOOP-10530

Support JDK8 in Hadoop HADOOP-11090

HDFS

Support for Erasure Codes in HDFS HDFS-7285

YARN

Support disk as a resource in YARN for scheduling and isolation YARN-2139

Dynamic Resource Configuration YARN-291

Support NodeGroup layer topology on YARN YARN-18

MAPREDUCE

这个还没有。

预约申请免费试听课

填写下面表单即可预约申请免费试听! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可全国推荐就业!

上一篇:Hadoop日志到底存在哪里?
下一篇:Spark和Hadoop作业之间的区别

Copyright © 2023 Tedu.cn All Rights Reserved 京ICP备08000853号-56 京公网安备 11010802029508号 达内时代科技集团有限公司 版权所有

选择城市和中心
黑龙江省

吉林省

河北省

湖南省

贵州省

云南省

广西省

海南省