使用Hadoop ACL 控制訪问权限

快乐的老鼠

使用Hadoop ACL 控制訪问权限
一、HDFS訪问控制
　　hdfs-site.xml设置启动acl
　　<property>
　　<name>dfs.permissions.enabled</name>
　　<value>true</value>
　　</property>
　　<property>
　　<name>dfs.namenode.acls.enabled</name>
　　<value>true</value>
　　</property>
　　core-site.xml设置用户组默认权限.
　　<property>
　　<name>fs.permissions.umask-mode</name>
　　<value>002</value>
　　</property>
　　各需求和解决的方法例如以下:

• 　　1.除了数据仓库负责人,普通用户不能创建数据库,也不能在默认库中创建表.
  　　/user/hive/warehouse的默认权限改为755,全部者是hadoop(或者数据仓库负责人),那么没有人能创建数据库,也不能在默认库中创建表.
  
• 　　2.数据仓库负责人创建数据库之后,能够分配给项目组,该项目组能够在此数据库建立表.
  　　/user/hive/warehouse/数据库.db的全部者改为项目组.
  
• 　　3.数据仓库负责人创建数据库之后,不把创建表的权限分给项目组,而为其创建表,仅仅同意项目组插入分区.
  　　数据仓库负责人继续保持/user/hive/warehouse/数据库.db的权限,项目组不能建立表,数据仓库负责人为项目组创建表之后,把表所在的文件夹分给项目组.
  
• 　　4.某些表仅仅能本项目组读写.
  　　/user/hive/warehouse/数据库.db/表名所在的文件夹改为770 .
  
• 　　5.某些表仅仅能本项目组的特殊用户读写.
  　　/user/hive/warehouse/数据库.db/表名所在的文件夹的全部者改为此用户,而且权限改为700 .
  
• 　　6.项目组的表,须要其他组的特别用户插入数据.
  　　使用下面的命令能够mapngxu对dntest.db的表testp1有写权限 hdfs dfs -setfacl -R -m user:mapengxu:rwx /user/hive/warehouse/cdntest.db/testp1
  
• 　　7.项目组的表,须要其他组的特别用户有读到数据的权限.
  　　hdfs dfs -setfacl -R -m user:mapengxu:r-x /user/hive/warehouse/cdntest.db/testp1
  
• 　　8.项目组的表,须要其他组的全部用户有读到数据的权限.
  　　hdfs dfs -setfacl -R -m group:data_sum:r-x /user/hive/warehouse/cdntest.db/testp1
  
• 　　9.创建默认数据库，此数据库全部用户都有创建表的权限。但仅仅保存30天.
  　　/user/hive/warehouse/数据库.db的权限改为777。而且设置定时任务扫描该文件夹及hive数据库。假设有创建时间超过30天的表。删除表及所在文件夹。
  
• 　　10.该措施和基础SQL的訪问控制结合。
  

任务调度
　　按用户组管理队列,在入口机和jenkins权限统一,按所在组分配资源，方便按项目组统计各项目组每天,每周占用多少集群资源. mapred-site.xml配置例如以下:
　　<property>
　　<name>mapred.acls.enabled</name>
　　<value>true</value>
　　</property>
　　<property>
　　<name>mapred.fairscheduler.poolnameproperty</name>
　　<value>group.name</value>
　　</property>
　　fair-scheduler.xml配置例如以下:
　　<?xmlversion=&quot;1.0&quot;?>
　　<allocations>
　　<poolname=&quot;cdn&quot;>
　　<maxResources>1000vcores</maxResources>
　　<maxRunningJobs>10</maxRunningJobs>
　　<weight>1.0</weight>
　　<schedulingPolicy>fair</schedulingPolicy>
　　</pool>
　　<poolname=&quot;data_sum&quot;>
　　<maxResources>1000 vcores</maxResources>
　　<maxRunningJobs>10</maxRunningJobs>
　　<weight>1.0</weight>
　　<schedulingPolicy>fair</schedulingPolicy>
　　</pool>
　　<userMaxAppsDefault>2</userMaxAppsDefault>
　　<queuePlacementPolicy>
　　<rulename=&quot;primaryGroup&quot; create=&quot;false&quot; />
　　<rulename=&quot;secondaryGroupExistingQueue&quot; create=&quot;false&quot; />
　　<rulename=&quot;user&quot; create=&quot;false&quot;/>
　　<rulename=&quot;reject&quot;/>
　　`
　　`