hadoop+kerberos常用运维命令

xq8995209

　　kerberos相关：
　　

kadmin.local　　//以超管身份进入kadmin　　

　　
kadmin　　　　//进入kadmin模式，需输入密码
　　

　　
kdb5_util create -r JENKIN.COM -s　　　　//创建数据库
　　

　　
service krb5kdc start　　　　//启动kdc服务
　　

　　
service kadmin start　　　　//启动kadmin服务
　　

　　
service kprop start　　　　　//启动kprop服务
　　

　　
kdb5_util dump /var/kerberos/krb5kdc/slave_data　　　　//生成dump文件
　　

　　
kprop -f /var/kerberos/krb5kdc/slave_data master2.com　　　　//将master数据库同步是slave
　　

　　
kadmin模式下：
　　

　　
　　addprinc -randkey root/master1@JENKIN.COM   //生成随机key的principal
　　

　　
　　addprinc admin/admin　　　　//生成指定key的principal
　　

　　
　　listprincs　　　　//查看principal
　　

　　
　　change_password -pw xxxx admin/admin　　//修改admin/admin的密码
　　

　　
　　delete_principal  admin/admin　　　　//删除principal
　　

　　
kinit admin/admin　　　　//验证principal是否可用
　　

　　
xst -norandkey -k /var/kerberos/krb5kdc/keytab/root.keytab root/master1@JENKIN.COM host/master1@JENKIN.COM　　　　//为principal生成keytab，可同时添加多个
　　

　　
ktadd -k /etc/krb5.keytab host/master1@JENKIN.COM　　　　//ktadd也可生成keytab
　　

　　
kinit -k -t /var/kerberos/krb5kdc/keytab/root.keytab root/master1@JENKIN.COM 　　　　//测试keytab是否可用
　　

　　
klist -e -k -t /var/kerberos/krb5kdc/keytab/root.keytab　　　　//查看keytab
　　

　　

　　

　　hadoop相关：
　　

./bin/hdfs zkfc -formatZK　　　　//格式化zkfc　　

　　
./bin/hdfs namenode -format　ns　　　　//格式化 namenode
　　

　　
./sbin/start-dfs.sh　　　　//启动dfs, namenode,journalnode,datanode,zkfc都会启动
　　

　　
./sbin/start-yarn.sh　　　　//启动yarn，nodemanager, resourcemanager都会启动
　　

　　
./sbin/hadoop-daemon.sh start journalnode　　　　//启动journalnode， 也可单独启动 namenode, datanode
　　

　　
./sbin/yarn-daemon.sh start resourcemanager　　//启动resourcemanager，也可单独启动nodemanager
　　

　　

　　
hadoop fs -put ./NOTICE.txt hdfs://ns/　　　　//上传文件至hdfs根目录
　　

　　
hadoop fs -ls /　　　　查看hdfs根目录文件
　　

　　

　　

hadoop fs -mkdir -p /jenkintest/tmp/spark01　　
[iyunv@hadoop3 soft]# hadoop fs -ls /jenkintest/tmp/
　　
Found 1 items
　　
drwxr-xr-x   - root supergroup          0 2017-09-18 12:27 /jenkintest/tmp/spark01
　　

　　


命令行操作：
　　-help             
　　功能：输出这个命令参数手册
　　-ls                  
　　功能：显示目录信息
　　示例： hadoop fs -ls hdfs://hadoop-server01:9000/
　　备注：这些参数中，所有的hdfs路径都可以简写
　　-->hadoop fs -ls /   等同于上一条命令的效果
　　-mkdir              
　　功能：在hdfs上创建目录
　　示例：hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd
　　-moveFromLocal            
　　功能：从本地剪切粘贴到hdfs
　　示例：hadoop  fs  - moveFromLocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd
　　-moveToLocal              
　　功能：从hdfs剪切粘贴到本地
　　示例：hadoop  fs  - moveToLocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt
　　--appendToFile  
　　功能：追加一个文件到已经存在的文件末尾
　　示例：hadoop  fs  -appendToFile  ./hello.txt  hdfs://hadoop-server01:9000/hello.txt
　　可以简写为：
　　Hadoop  fs  -appendToFile  ./hello.txt  /hello.txt
　　-cat  
　　功能：显示文件内容  
　　示例：hadoop fs -cat  /hello.txt
　　-tail                 
　　功能：显示一个文件的末尾
　　示例：hadoop  fs  -tail  /weblog/access_log.1
　　-text                  
　　功能：以字符形式打印一个文件的内容
　　示例：hadoop  fs  -text  /weblog/access_log.1
　　-chgrp
　　-chmod
　　-chown
　　功能：linux文件系统中的用法一样，对文件所属权限
　　示例：
　　hadoop  fs  -chmod  666  /hello.txt
　　hadoop  fs  -chown  someuser:somegrp   /hello.txt
　　-copyFromLocal   
　　功能：从本地文件系统中拷贝文件到hdfs路径去
　　示例：hadoop  fs  -copyFromLocal  ./jdk.tar.gz  /aaa/
　　-copyToLocal      
　　功能：从hdfs拷贝到本地
　　示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz
　　-cp              
　　功能：从hdfs的一个路径拷贝hdfs的另一个路径
　　示例： hadoop fs -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2
　　-mv                     
　　功能：在hdfs目录中移动文件
　　示例： hadoop fs -mv  /aaa/jdk.tar.gz  /
　　-get              
　　功能：等同于copyToLocal，就是从hdfs下载文件到本地
　　示例：hadoop fs -get  /aaa/jdk.tar.gz
　　-         
　　功能：合并下载多个文件
　　示例：比getmerge    如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...
　　hadoop fs -getmerge /aaa/log.* ./log.sum
　　-put               
　　功能：等同于copyFromLocal
　　示例：hadoop fs -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2
　　-rm               
　　功能：删除文件或文件夹
　　示例：hadoop fs -rm -r /aaa/bbb/
　　-rmdir                 
　　功能：删除空目录
　　示例：hadoop  fs  -rmdir   /aaa/bbb/ccc
　　-df               
　　功能：统计文件系统的可用空间信息
　　示例：hadoop fs -df  -h /
　　-du
　　功能：统计文件夹的大小信息
　　示例：
　　hadoop  fs  -du  -s  -h /aaa/*
　　-count         
　　功能：统计一个指定目录下的文件节点数量
　　示例：hadoop fs -count /aaa/
　　-setrep               
　　功能：设置hdfs中文件的副本数量
　　示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz
　　补充：查看dfs集群工作状态的命令
　　hdfs dfsadmin -report