Hadoop Client连接不能连接Azure HDInsight2.6

reew

我们在centos6.7上安装hdinsight hadoop client,无法正常使用，报错如下：

16/04/14 05:38:23 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
16/04/14 05:38:23 INFO impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
16/04/14 05:38:23 INFO impl.MetricsSystemImpl: azure-file-system metrics system started
ls: org.apache.hadoop.fs.azure.KeyProviderException: org.apache.hadoop.fs.azure.ShellDecryptionKeyProvider specified in config is not a valid KeyProvider class.

用相同的办法，在ubumtu 12.04上安装hdinsight hadoop client，可以正常使用的。解决该问题使用步骤如下：

1.     修改hosts文件，该hosts来自于Azure上的hadoop集群的windows系统，添加了包括客户微软云的包括centos6.7和ubuntu系统（注：所有系统都是微软云，内网互通）；

2.     Ubuntu上vim/bin/cmd 内容： #!/bin/bash    echo $3 ，添加执行权限

3.     拷贝hadoop集群的windows系统下的jar包到ubuntu，包括：

C:\apps\dist\hadoop-2.6.0.2.2.9.1-7\share\hadoop\common    ——> /usr/hdp/2.2.0.0-2041/hadoop

hadoop-azure-2.6.0.2.2.9.1-7.jar

C:\apps\dist\hadoop-2.6.0.2.2.9.1-7\share\hadoop\common\lib——>/usr/hdp/2.2.0.0-2041/hadoop/lib

azure-storage-2.2.0.jar

4.     拷贝hadoop集群windows server上的三个配置文件到ubuntu上/etc/hadoop/conf   

/etc/hadoop/conf/mapred-site.xml.

/etc/hadoop/conf/core-site.xml.

/etc/hadoop/conf/yarn-site.xml

这样，ubuntu 上的hadoopclient就可以连接位于windows上hadoop集群了，但是Centos6.7相同的配置报错如上

最后发现原因是：

1、下面四行有多处重复，保留一个

<property>
  <name>fs.azure.account.keyprovider.amnetaacdata.blob.core.chinacloudapi.cn</name>
  <value>org.apache.hadoop.fs.azure.ShellDecryptionKeyProvider</value>
</property>

2、Centos6.7系统core-site.xml的Value的值修改为存储账号的Key

<property>

  <name>fs.azure.account.keyprovider.amnetaacdata.blob.core.chinacloudapi.cn</name>

  <value>7hHVeQgUlce3btc0sIKMTVHlTCqJ7WAaQaowUnLNBEnY………….</value>

</property>

注：ubuntu不需要使用key

3、测试结果如下，说明连接正常