Hadoop Client连接不能连接Azure HDInsight2.6
我们在centos6.7上安装hdinsight hadoop client,无法正常使用，报错如下： 16/04/14 05:38:23 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2.properties16/04/14 05:38:23 INFO impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
16/04/14 05:38:23 INFO impl.MetricsSystemImpl: azure-file-system metrics system started
ls: org.apache.hadoop.fs.azure.KeyProviderException: org.apache.hadoop.fs.azure.ShellDecryptionKeyProvider specified in config is not a valid KeyProvider class.
用相同的办法，在ubumtu 12.04上安装hdinsight hadoop client，可以正常使用的。解决该问题使用步骤如下：
1. 修改hosts文件，该hosts来自于Azure上的hadoop集群的windows系统，添加了包括客户微软云的包括centos6.7和ubuntu系统（注：所有系统都是微软云，内网互通）； 2. Ubuntu上vim/bin/cmd 内容： #!/bin/bash echo $3 ，添加执行权限3. 拷贝hadoop集群的windows系统下的jar包到ubuntu，包括：C:\apps\dist\hadoop-2.6.0.2.2.9.1-7\share\hadoop\common ——> /usr/hdp/2.2.0.0-2041/hadoophadoop-azure-2.6.0.2.2.9.1-7.jarC:\apps\dist\hadoop-2.6.0.2.2.9.1-7\share\hadoop\common\lib——>/usr/hdp/2.2.0.0-2041/hadoop/libazure-storage-2.2.0.jar4. 拷贝hadoop集群windows server上的三个配置文件到ubuntu上/etc/hadoop/conf /etc/hadoop/conf/mapred-site.xml./etc/hadoop/conf/core-site.xml./etc/hadoop/conf/yarn-site.xml 这样，ubuntu 上的hadoopclient就可以连接位于windows上hadoop集群了，但是Centos6.7相同的配置报错如上
最后发现原因是：1、下面四行有多处重复，保留一个<property>
<name>fs.azure.account.keyprovider.amnetaacdata.blob.core.chinacloudapi.cn</name>
<value>org.apache.hadoop.fs.azure.ShellDecryptionKeyProvider</value>
</property>
2、Centos6.7系统core-site.xml的Value的值修改为存储账号的Key<property><name>fs.azure.account.keyprovider.amnetaacdata.blob.core.chinacloudapi.cn</name><value>7hHVeQgUlce3btc0sIKMTVHlTCqJ7WAaQaowUnLNBEnY………….</value></property>
注：ubuntu不需要使用key
3、测试结果如下，说明连接正常
页:
[1]