Hadoop运维记录系列(十八)

Cnbaby

　　之前为了练习英语用英文写的这个博客，然后被编辑置为转载了，所以想想还是翻译过来比较好。
　　原文发表于 https://xianglei.tech 确实是我自己原创的。英文很烂，所以才需要练习。
　　使用Cloudera Manager启用Kerberos安全增强的Hadoop集群(包括一步步安装和配置kerberos)以及kerberos基本原理
　　目前我工作于AdMaster，某个全球五百强的大企业是我们的深度客户，我为其提供大数据底层平台的技术支持。他们的要求是使用正版的Cloudera Manager来进行集群的管理和操作，约定版本为5.10，这个后续会成为坑中之一，以后的博客我会讲述这个故事。同时他们要求使用Kerberos来进行安全性管理，说实话，我对Kerberos的集群一点好感也没有，但是花钱的是大爷，我没辙。所以上周我用Cloudera Manager辅助搭建了一个Kerberos的Hadoop集群，然后这个是一篇使用Cloudera Manager来搭建安全增加集群的记录。首先，我们需要一个可以跑的Hadoop集群，而且已经提前装好了Kerberos的KDC和其他clients
　　1. 安装KDC服务器
　　只需要在一台服务器上运行下面这句话，KDC只安装于一台独立的服务器上
sudo yum -y install krb5-server krb5-libs krb5-workstation krb5-auth-dialog openldap-clients　　这个命令会安装KDC Server和krb5-workstation，这是kerberos的client，里面包含了很多有用的命令
　　2. 修改 /var/kerberos/krb5kdc/kdc.conf
kdcdefaults] kdc_ports = 88　　
kdc_tcp_ports = 88
　　

　　
[realms]
　　
PG.COM = {
　　
  #master_key_type = aes256-cts
　　
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
　　
  dict_file = /usr/share/dict/words
　　
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
　　
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
　　
  max_renewable_life = 7d
　　
}
　　把EXAMPLE.COM修改成PG.COM
　　增加 add max_renewable_life = 7d 意味着7天，或者更长时间，也可以使用4w表示4周
　　3. 修改/etc/krb5.conf
libdefaults]default_realm = PG.COM　　
dns_lookup_kdc = false
　　
dns_lookup_realm = false
　　
ticket_lifetime = 259200
　　
renew_lifetime = 604800
　　
forwardable = true
　　
default_tgs_enctypes = rc4-hmac
　　
default_tkt_enctypes = rc4-hmac
　　
permitted_enctypes = rc4-hmac
　　
udp_preference_limit = 1
　　
kdc_timeout = 3000
　　
[realms]
　　
PG.COM = {
　　
  kdc = pg-dmp-master2.hadoop
　　
  admin_server = pg-dmp-master2.hadoop
　　
}
　　EXAMPLE.COM 徐改成 PG.COM 并且在 [realms] 里面, kdc 指向到安装了KDC的服务器已经安装了kadmin的服务器
　　4. 创建这个realm
kdb5_util create -s -r PG.COM　　这会创建一个叫做PG.COM的工作realm，Kerberos允许同时存在管理多个realm
　　5. 在KDC服务器上创建管理员用户的pricipal
kadmin.local -q "addprinc root/admin"　　我在Linux的root账号下使用 root/admin 作为管理员用户，作为admin用户，你可以使用不同于linux的单独的密码，注意，这和linux的root并不是同一个账号，所以，你不用担心你的linux root用户密码会改变。 root/admin只存在于kerberos的数据库中，它和linux的root是两个分开独立的账号
　　6. 编辑 /var/kerberos/kadm.acl
*/admin@PG.COM　　这个用来定义哪些人是PG.COM这个realm的管理员，这句话意味着，凡是挂着/admin@PG.COM的所有用户都是管理员，只要你添加了这个账号。
　　7. 检查所有的Kerberos配置文件，确保没有错误

　　/etc/krb5.conf
　　/var/kerberos/krb5kdc/krb.conf
　　/var/kerberos/krb5kdc/kadm.acl

　　8. 然后启动KDC和Kadmin服务
service krb5kdc start　　
service kadmin start
　　9. 然后登录到集群的其他节点，运行以下命令
yum install krb5-workstation krb5-libs krb5-auth-dialog openldap-clients cyrus-sasl-plain cyrus-sasl-gssapi　　在所有节点上安装kerberos的客户端
　　然后，回到CLoudera Manager，点击集群，操作，在下拉菜单找到启用kerberos或启用安全。然后所有选项打钩，下一步，下一步，下一步，一直到完事。
　　所有步骤完成之后，你就可以使用kerberos增强的hadoop集群了
　　这里有几个在安装安全集群中可能会遇到的问题
　　我如何添加一个新的用户pricipal?
kadmin.local -q "addprinc username@PG.COM"　　需要注意的是，当你想添加了一个普通用户到集群时，你需要在Kadmin的服务器上运行上面的命令，并且，username@PG.COM是一个常规用户，如果你想添加一个管理员用户，你需要写成username/admin@PG.COM，/admin是你在kadm.acl里面定义的。有时候你需要增加的用户需要包含主机名，那么就写成username/FQDN@YOURREALM.COM，FQDN意思是完整的主机名，比如xianglei/git.xianglei.tech@XIANGLEI.TECH.
　　我如何管理HDFS或YARN，我的意思是，我如何使用hdfs或者yarn用户来管理集群？
　　好吧，由于Cloudera Manager会自动创建诸如hdfs，yarn，hbase等用户，并且这些用户都是nologin且没有任何密码的，在kerberos里面也是用-randkey然后xst直接创建keytab的。同时这些用户都是Hadoop的管理用户所以你不能直接用以下命令来向KDC请求授权ticket。正常用户都是用kinit username，并且输入密码来验证授权的，但是hadoop的这些账户不可以。
# kinit hdfs　　
kinit: Client not found in Kerberos database while getting initial credentials
　　
# kinit hdfs@PG.COM
　　
kinit: Client not found in Kerberos database while getting initial credentials
　　但是你可以像这样使用keytab来请求ticket
kinit -kt hdfs.keytab hdfs/current_server@PG.COM　　current_server是你当前登录的服务器的完整主机名，和你想访问或管理HDFS或YARN的用户名。
　　我使用计算Pi来进行冒烟测试，但是失败了，我已经在KDC数据库里新加了一个用户了？
17/04/24 11:18:35 INFO mapreduce.Job: Job job_1493003216756_0004 running in uber mode : false　　
17/04/24 11:18:35 INFO mapreduce.Job:  map 0% reduce 0%
　　
17/04/24 11:18:35 INFO mapreduce.Job: Job job_1493003216756_0004 failed with state FAILED due to: Application application_1493003216756_0004 failed 2 times due to AM Container for appattempt_1493003216756_0004_000002 exited with  exitCode: -1000
　　
For more detailed output, check application tracking page:http://pg-dmp-master1.hadoop:8088/proxy/application_1493003216756_0004/Then, click on links to logs of each attempt.
　　
Diagnostics: Application application_1493003216756_0004 initialization failed (exitCode=255) with output: main : command provided 0
　　
main : run as user is dmp
　　
main : requested yarn user is dmp
　　
User dmp not found
　　

　　
Failing this attempt. Failing the application.
　　
17/04/24 11:18:35 INFO mapreduce.Job: Counters: 0
　　
Job Finished in 1.094 seconds
　　
java.io.FileNotFoundException: File does not exist: hdfs://PG-dmp-HA/user/dmp/QuasiMonteCarlo_1493003913376_864529226/out/reduce-out
　　
        at org.apache.hadoop.hdfs.DistributedFileSystem$20.doCall(DistributedFileSystem.java:1257)
　　
        at org.apache.hadoop.hdfs.DistributedFileSystem$20.doCall(DistributedFileSystem.java:1249)
　　
        at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
　　
        at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1249)
　　
        at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1817)
　　
        at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1841)
　　
        at org.apache.hadoop.examples.QuasiMonteCarlo.estimatePi(QuasiMonteCarlo.java:314)
　　
        at org.apache.hadoop.examples.QuasiMonteCarlo.run(QuasiMonteCarlo.java:354)
　　
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
　　
        at org.apache.hadoop.examples.QuasiMonteCarlo.main(QuasiMonteCarlo.java:363)
　　
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
　　
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
　　
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
　　
        at java.lang.reflect.Method.invoke(Method.java:497)
　　
        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71)
　　
        at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
　　
        at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)
　　
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
　　
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
　　
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
　　
        at java.lang.reflect.Method.invoke(Method.java:497)
　　
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
　　
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
　　在一个非安全的集群里，Hadoop会把计算用的container分发到集群的所有节点上，并且用已经存在的账号或替代账号例如yarn或mapred用户来启动这些container。但是在一个安全集群里，container必须使用你提交的用户名来分发和启动，所以，这个错误是由于你仅仅添加了KDC里面的dmp用户这个pricipal，而没有在所有节点建立dmp账户。所以container的执行器无法启动AM或者Mapper或Reducer。所以很简单，你需要在所有节点运行以下命令。
useradd dmp　　在集群的所有节点上增加linux用户账号有另外一个快捷的办法，那就是通过LDAP，这样可以替代大量的手工操作，当然，一些自动化运维工具也可以。
　　最后，我们来了解以下kerberos的基本理论
　　对于Kerberos来说，一个客户端要访问一个服务，需要经过以下三个步骤
　　– 验证
　　– 授权
　　– 服务请求

　　客户端先发送一个票证批准票Ticket-Granting Ticket (TGT)给AS服务，就是以后经常会在报错里看到的tgt

　　AS检查数据库来验证client
　　– 验证通常也可以通过LDAP或Actice Directory来做
　　– 如果合法, AS 会发还一个 Ticket/Granting Ticket (TGT) 给 client

client拿到这个TGT以后，会用这个TGT来向服务请求服务器申请一个服务ticket

　　– 一个服务ticket是用来验证client可以访问哪些服务的

　　TGS来验证client是否被允许使用它所请求的服务
　　– 如果访问被批准，TGS会发还给client一个服务票据

　　Client会用这些票据来访问需要的服务
　　– 服务会跟client验证这些服务票据的合法性
　　
　　所以你知道为何起名叫Kerberos了吧，三首地狱看门狗。三方验证授权，互不干涉，三权分立。
　　kinit 程序是用来想Kerberos申请ticket的
　　klist 用来查看当前的用户
　　kdestroy 用来删除你当前使用的票据
　　( 图片与说明来源于Cloudera管理员认证培训课程，版权属于Cloudera。)