hadoop的kerberos认证

小风儿

　　言归正传，介绍过hadoop的simple认证和kerberos后，我们在这一章介绍hadoop的kerberos认证
　　我们还使用hadoop集群的机器。
　　OS 版本: Centos6.4
　　Kerberos版本: krb5-1.10.3
　　环境配置

机器名	Ip地址	功能	安装模块
ganglia.localdomain	192.168.124.140	Kerberos server	krb5-libs 　　krb5-server 　　krb5-workstation 　　krb5-devel
hadoop1.localdomain	192.168.124.135	Namenode 　　Datanode 　　Jobtracker 　　tasktracker	krb5-libs 　　krb5-workstation 　　krb5-appl-clients
hadoop2.localdomain	192.168.124.136	Datanode 　　tasktracker	Krb5-libs 　　Krb5-workstation 　　krb5-appl-servers
hadoop3.localdomain	192.168.124.137	Datanode 　　tasktracker	Krb5-libs 　　Krb5-workstation 　　krb5-appl-servers

　　kerberos的安装，这里就不介绍了，我们创建了一个LOCALDOMAIN域的数据库
　　我们还是要给出配置文件的信息给大家参考
　　vi /etc/krb5.conf 主要修改realm
　　
　　[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log
　　[libdefaults]
default_realm = LOCALDOMAIN
dns_lookup_realm = false
dns_lookup_kdc = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
　　[realms]
LOCALDOMAIN = {
  kdc = ganglia.localdomain
  admin_server = ganglia.localdomain
}
　　[domain_realm]
.example.com = LOCALDOMAIN
example.com = LOCALDOMAIN
　　
　　vi /var/kerberos/krb5kdc/kdc.conf
　　[kdcdefaults]
kdc_ports = 88
kdc_tcp_ports = 88
　　[realms]
LOCALDOMAIN = {
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  max_renewable_life=10d
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
}
　　
　　vi /var/kerberos/krb5kdc/kadm5.acl
　　*/admin@LOCALDOMAIN     *
　　
　　在hadoop中，kerberos需要创建principle和生成keytab文件。
　　1. 创建principle
　　hadoop的kerberos认证，需要三种principle: hadoop, host, HTTP
　　addprinc -randkey hadoop/hadoop1.localdomain@LOCALDOMAIN
　　addprinc -randkey hadoop/hadoop2.localdomain@LOCALDOMAIN
　　addprinc -randkey hadoop/hadoop3.localdomain@LOCALDOMAIN
　　addprinc -randkey host/hadoop1.localdomain@LOCALDOMAIN
　　addprinc -randkey host/hadoop2.localdomain@LOCALDOMAIN
　　addprinc -randkey host/hadoop3.localdomain@LOCALDOMAIN
　　addprinc -randkey  HTTP/hadoop1.localdomain@LOCALDOMAIN
　　addprinc -randkey  HTTP/hadoop2.localdomain@LOCALDOMAIN
　　addprinc -randkey  HTTP/hadoop3.localdomain@LOCALDOMAIN
　　使用listprincs查看一下结果

　　
　　2. 创建keytab文件:hadoop.keytab
　　ktadd -norandkey -k /root/hadoop.keytab hadoop/hadoop1.localdomain@LOCALDOMAIN
　　ktadd -norandkey -k /root/hadoop.keytab hadoop/hadoop2.localdomain@LOCALDOMAIN
　　ktadd -norandkey -k /root/hadoop.keytab hadoop/hadoop3.localdomain@LOCALDOMAIN
　　ktadd -norandkey -k /root/hadoop.keytab host/hadoop1.localdomain@LOCALDOMAIN
　　ktadd -norandkey -k /root/hadoop.keytab host/hadoop2.localdomain@LOCALDOMAIN
　　ktadd -norandkey -k /root/hadoop.keytab host/hadoop3.localdomain@LOCALDOMAIN
　　ktadd -norandkey -k /root/hadoop.keytab HTTP/hadoop1.localdomain@LOCALDOMAIN
　　ktadd -norandkey -k /root/hadoop.keytab HTTP/hadoop2.localdomain@LOCALDOMAIN
　　ktadd -norandkey -k /root/hadoop.keytab HTTP/hadoop3.localdomain@LOCALDOMAIN
　　
　　查看一下结果
　　klist -kt /root/hadoop.keytab

　　将/root/hadoop.keytab 上传到hadoop1,hadoop2和hadoop3上
　　修改三个bug

• Jdk，需要下载jce（Java Cryptography Extension）1.6.32不需要安装，低一点的版本需要。http://www.oracle.com/technetwork/java/javase/downloads/index.html
  
• 时间同步问题，kdc和运行hadoop的服务器，时间必须是同步的，如果在虚拟机中运行，如果时间不一致，也会造成credential失效。
  
• Kdc默认不支持renew功能的，运行kinit 后”valid starting" and "renew until"的值是相同的时间，或者运行kinit –R后出现 kinit: Ticket expired while renewing credentials
  

　　有两种方法可以解决此问题，第一种方式就是在创建domain之前，在kdc.conf中增加 max_renewable_life = 7d，然后创建domain。第二种方式使用modprinc修改所有的principle，modprinc -maxrenewlife 7days krbtgt/ganglia.localdoamin/LOCALDOMAIN
　　modprinc -maxrenewlife 7days K/M/LOCALDOMAIN
　　modprinc -maxrenewlife 7days hadoop/hadoop1.localdomain/LOCALDOMAIN
　　modprinc -maxrenewlife 7days hadoop/hadoop2.localdomain/LOCALDOMAIN
　　modprinc -maxrenewlife 7days hadoop/hadoop3.localdomain/LOCALDOMAIN
　　modprinc -maxrenewlife 7days host/hadoop1.localdomain/LOCALDOMAIN
　　modprinc -maxrenewlife 7days host/hadoop2.localdomain/LOCALDOMAIN
　　modprinc -maxrenewlife 7days host/hadoop3.localdomain/LOCALDOMAIN
　　modprinc -maxrenewlife 7days HTTP/hadoop1.localdomain/LOCALDOMAIN
　　modprinc -maxrenewlife 7days HTTP/hadoop2.localdomain/LOCALDOMAIN
　　modprinc -maxrenewlife 7days HTTP/hadoop3.localdomain/LOCALDOMAIN
　　
　　配置hadoop
　　vi conf/core-site.xml
　　
　　
　　hadoop.tmp.dir
　　/home/hadoop/repo4/tmp
　　A base for other temporary directories.
　　
　　
　　fs.default.name
　　hdfs://hadoop1.localdomain:9000
　　
　　
　　hadoop.security.authorization
　　true
　　
　　
　　hadoop.security.authentication
　　kerberos
　　
　　
　　修改conf/hadoop-env.sh，增加下面一句
　　export HADOOP_SECURE_DN_USER=hadoop
　　
　　启动hdfs
　　在hadoop1上运行: bin/hadoop namenode
　　在hadoop1,hadoop2和hadoop3上运行: sudo bin/hadoop datanode
　　如果按照上面的步骤做，应该是可以能够启动hdfs的。
　　
　　下面我们再配置一下mapred
　　vi conf/hdfs-site.xml
　　
　　
　　dfs.replication
　　2
　　
　　
　　dfs.name.dir
　　/home/hadoop/repo4/name
　　
　　
　　dfs.data.dir
　　/home/hadoop/repo4/data
　　
　　
　　
　　dfs.webhdfs.enabled
　　true
　　
　　
　　dfs.web.authentication.kerberos.principal
　　HTTP/_HOST@LOCALDOMAIN
　　
　　
　　dfs.namenode.kerberos.https.principal
　　host/_HOST@KERBEROS_HADOOP
　　
　　
　　dfs.web.authentication.kerberos.keytab
　　/home/hadoop/hadoop-1.2.1/conf/hadoop.keytab
　　
　　
　　
　　dfs.namenode.keytab.file
　　/home/hadoop/hadoop-1.2.1/conf/hadoop.keytab
　　
　　
　　dfs.namenode.kerberos.principal
　　hadoop/_HOST@LOCALDOMAIN
　　
　　
　　dfs.namenode.kerberos.https.principal
　　host/_HOST@LOCALDOMAIN
　　
　　
　　dfs.secondary.namenode.keytab.file
　　/home/hadoop/hadoop-1.2.1/conf/hadoop.keytab
　　
　　
　　dfs.secondary.namenode.kerberos.principal
　　hadoop/_HOST@LOCALDOMAIN
　　
　　
　　dfs.secondary.namenode.kerberos.https.principal
　　host/_HOST@LOCALDOMAIN
　　
　　
　　
　　dfs.datanode.keytab.file
　　/home/hadoop/hadoop-1.2.1/conf/hadoop.keytab
　　
　　
　　dfs.datanode.kerberos.principal
　　hadoop/_HOST@LOCALDOMAIN
　　
　　
　　dfs.datanode.kerberos.https.principal
　　host/_HOST@LOCALDOMAIN
　　
　　
　　dfs.datanode.address
　　0.0.0.0:1004
　　
　　
　　dfs.datanode.http.address
　　0.0.0.0:1006
　　
　　
　　

• 修改conf/mapred-site.xml
  

　　
　　
　　mapred.job.tracker
　　http://hadoop1.localdomain:9001
　　
　　
　　
　　mapreduce.jobtracker.kerberos.principal
　　mapred/_HOST@LOCALDOMAIN
　　
　　
　　mapreduce.jobtracker.kerberos.https.principal
　　host/_HOST@LOCALDOMAIN
　　
　　
　　mapreduce.jobtracker.keytab.file
　　/home/hadoop/hadoop-1.2.1/conf/mapred.keytab
　　
　　
　　
　　mapreduce.tasktracker.kerberos.principal
　　mapred/_HOST@LOCALDOMAIN
　　
　　
　　mapreduce.tasktracker.kerberos.https.principal
　　host/_HOST@LOCALDOMAIN
　　
　　
　　mapreduce.tasktracker.keytab.file
　　/home/hadoop/hadoop-1.2.1/conf/mapred.keytab
　　
　　
　　
　　mapred.task.tracker.task-controller
　　org.apache.hadoop.mapred.LinuxTaskController
　　
　　
　　mapreduce.tasktracker.group
　　hadoop
　　
　　
　　
　　修改后xml配置文件后，还需要做如下几步
　　1. 修改tasktracker的配置文件
　　先修改conf/taskcontroller.cfg
　　mapred.local.dir=/home/hadoop/repo4/mapred/local
　　hadoop.log.dir=/home/hadoop/hadoop-1.2.1/logs
　　mapreduce.tasktracker.group=hadoop
　　banned.users=hdfs
　　在创建mapred.local.dir和hadoop.log.dir指定的目录
　　2. 启动一下tasktracker来看一下  bin/hadoop tasktracker
　　出现了第一个异常: /etc/hadoop/taskcontroller.cfg not found,原因是bin/tasktracker默认使用etc/hadoop位置的taskcontroller.cfg

　　我们将taskcontroller.cfg复制到/etc/hadoop
　　sudo mkdir /etc/hadoop
　　sudo scp conf/taskcontroller.cfg /etc/hadoop/
　　3. 启动tasktracer: bin/hadoop tasktracker
　　可执行文件task-controller的所属者必须是root

　　我们改变一下文件的所属者
　　sudo chown root:root bin/task-controller
　　4. 继续启动tasktracker: bin/hadoop tasktracker
　　异常继续出现：配置的组必须等于task-controller所属组

　　我们继续改变一下文件的所属着和所属组
　　sudo chown root:hadoop bin/task-controller
　　5. 继续启动tasktracker: bin/hadoop tasktracker
　　检查其他用户还有异常：task-controller其他用户不能有写和执行权限

　　运行命令去改变用户权限
　　sudo chmod o-rx bin/task-controller
　　6.  继续启动tasktracker: bin/hadoop tasktracker
　　task-controller还需要被设置setuid标志位

　　运行命令去设置setuid标志位
　　sudo chmod u+s bin/task-controller
　　7. 继续启动tasktracker: bin/hadoop tasktracker
　　用户的id比1000小

　　Cat /etc/passwd，查看一下用户id，然后设置参数min.user.id，通常普通用户创建，都是从500开始，因为我们可以修改sudo vi /etc/hadoop/taskcontroller.cfg
　　min.user.id=500
　　
　　测试一下mapred程序，我们还是用wordcount作为例子
　　前面我们已经启动了hdfs,再启动mapred
　　在hadoop1运行：bin/hadoop jobtracker
　　在hadoop1,hadoop2和hadoop2上运行: bin/hadoop tasktracker
　　创建一个输入目录：
　　bin/hadoop  dfs -mkdir /user/hadoop/input
　　上传一些文件
　　bin/hadoop dfs -copyFromLocal  conf/* /user/hadoop/input/
　　查看一下结果
　　bin/hadoop dfs -ls /user/hadoop/input/

　　启动mapred程序


　　
　　
　　使用kerberos认证的缺点

• 存在单点失败：它需要KDC中心服务器的服务。当KDC挂掉时，整个系统有可能瘫痪。Hadoop花了很多时间来解决namenode的单点问题。幸亏这个缺陷可以通过使用复合Kerberos服务器和缺陷认证机制弥补
  
• Kerberos需要时间同步技术，Kerberos要求参与通信的主机的时钟同步，如果主机的时钟与Kerberos服务器的时钟不同步，认证会失败。默认设置要求时钟的时间相差不超过10分钟。通常用网络时间协议后台程序(NTP)来保持主机时钟同步。
  
• 配置非常繁琐，通常配置好一个100个节点的服务器，需要三天时间。而且还会存在一个大的问题：用户权限的问题，原来系统上的数据不能访问。这一点还需要完善。
  
• 因为所有用户使用的密钥都存储于中心服务器中，危及服务器的安全的行为将危及所有用户的密钥。
  

　　总结
　　Kerberos是一种性能比较高的认证和授权，并且能够进行数据加密的安全系统，但是并不是特别适合hadoop，原因有三点：1. Hadoop集群节点数多，配置和维护一个使用kerberos系统高性能，稳定的hadoop集群难度非常高。2. Hadoop中的hdfs是一个文件系统，用户的认证和授权比较复杂，难度不低于linux系统的用户和组管理。加上kerberos后，用户和用户组的管理更加复杂，通常一个合适的用户不能访问hdfs上的文件。 3. Hadoop加上kerberos后，通常原来的用户和文件，可能都失效导致数据流失。尤其是一些根目录，往往需要格式化整个系统才能使用。增加一个新用户也是比较难的。因为要考虑各个节点间的访问权限。 我认为可能轻量级的LDAP会适合hadoop系统，后面有时间来实现一下。