Hadoop日常管理与维护

yyert

本文描述了hadoop、hbase的启动关闭、表操作以及权限管理。
一、Hadoop服务的启动与关闭
1、启动
使用hadoop以及hbase自带的脚本进行启动，先启动hadoop个服务，再启动hbase服务。
hadoop@bdi:~$ start-dfs.sh
hadoop@bdi:~$ start-yarn.sh
hadoop@bdi:~$ start-hbase.sh
hadoop@bdi:~$ mr-jobhistory-daemon.sh start historyserver

2、关闭
hadoop@bdi:~$ stop-hbase.sh
hadoop@bdi:~$ stop-yarn.sh
hadoop@bdi:~$ stop-dfs.sh
hadoop@bdi:~$ mr-jobhistory-daemon.sh stop historyserver
二、Hadoop端口信息
1、namenode信息
http://ip:50070

2、datanode 信息
http://ip:50075

3、备份namenode信息
http://ip:50090
4、hadoop集群信息
http://ip:8088

5、NodeManager信息
http://ip:8042

三、HBase Shell命令介绍
HBase shell的命令分为三类：

• 常用命令：status、version、table_help、whoami
• DDL：create、list、disable、is_disabled、enable、is_enabled、describe、after、exists、drop、drop_all和java admin api
• DML：put、get、delete、deleteall、scan、count、truncate以及Java client API
  在终端直接运行hbase shell即可进入shell环境，如下：
  
  四、表操作
  1、创建表
  创建fxuser表，创建完成后使用list命令进行验证是否创建成功，如下图所示：
  
  2、查看表定义
  
  3、插入数据
  put的语法如下：
  put ’<table name>’,’row1’,’<colfamily:colname>’,’<value>’
  
  scan命令表示列出表的所有数据。
  4、更新数据
  
  5、读取数据
  在shell中，直接敲get回车，即可出现帮助信息。
  
  6、删除数据
  同样，敲delete回车即可打印出帮助信息。
  
  删除一行数据：
  
  7、表统计和清空
  统计，执行count '表名'，如下：hbase(main):021:0> count 'fxuser'
• 1 row(s) in 0.0460 seconds清空，执行truncate '表名'即可。
  
  8、删除表
  删除表之前，必须先禁用掉才可以。
  
  五、权限管理
  在hbase中，针对用户的权限管理有三条命令：grant、revoke和user_permission，语法如图：
  
  这个权限管理需要在hbase里启用，才可设置，否则会出现“ERROR: DISABLED: Security features are not available”报错。关闭hbase服务，然后编辑hbase-site.xml文件，加入以下内容后，启动hbase：<property>
  <name>hbase.security.authentication</name>
  <value>simple</value>
  </property>
  <property>
  <name>hbase.security.authorization</name>
  <value>true</value>
  </property>
  <property>
  <name>hbase.coprocessor.master.classes</name>
  <value>org.apache.hadoop.hbase.security.access.AccessController</value>
  </property>
  <property>
  <name>hbase.coprocessor.region.classes</name>
  <value>org.apache.hadoop.hbase.security.access.AccessController</value>
  </property>
  <property>
  <name>hbase.coprocessor.regionserver.classes</name>
  <value>org.apache.hadoop.hbase.security.access.AccessController</value>
  </property>
  增加删除权限：