设为首页 收藏本站
查看: 936|回复: 0

[经验分享] hadoop【HDFS的基本命令】

[复制链接]
发表于 2018-10-28 15:34:47 | 显示全部楼层 |阅读模式
  1.先进入到Hadoop用户下,然后:cd  /usr/local/hadoop-0.20.2-cdh3u5/
  ls一下
  这时候会看见一个bin目录,bin目录下的,都是我们的命令。像JDK里面,bin目录里面不也是我们的命令嘛,像Java、javac。所以同样的,我们的Hadoop命令也在bin目录下。
  2.cd  bin
  ls一下
  Start-all.sh(开启集群的意思),stop-all.sh(关闭所有集群),start-dfs.sh(开启HDFS 的所有进程),stop-dfs.sh(关闭HDFS的所有进程),hadoop-damon.sh(开启指定的一台机器),hadoop-damons.sh(开启多台机器)。
  3.要输入Hadoop的命令,必须要进入到Hadoop的bin目录下,格式为:hadoop fs ,
  为参数命令。
  4.Bin目录下执行脚本,必须是./    这样才能运行,别忘了,我的天啊,你肯定会忘的,并且是  ./hadoop    ./和Hadoop这个单词是连在一起,不是分开有空格的。
  5.好了,接下来就是实际命令了:
  ./hadoop  fs  -ls  hdfs://h103:9000/
  (fs表示文件系统,-ls后面接的就是你要查看的哪个目录下的内容,9000后面的斜杠/表示是我的目录)
  但是我又换一种写法写:./hadoop  fs  -ls  /
  (这输出的结果是一样的,因为我的主机名就是h103,只要在我的集群上,ls空格后面的/,默认就是我的全路径hdfs://h103:9000/,所以这两种命令都是一样的)
  6.但是要是有人质问你,这样处理的结果tmp不是你本地的嘛,但这不是的,因为只有 :ls  /
  这个命令,出来的才是本地的系统文件,比如srv,tmp啥的。
  7.创建目录:./hadoop  fs  -mkdir  /user(创建的一个user 的目录)
  ./hadoo  fs  -ls  /                   (查看一下,是不是就有了)
  记住,这是Hadoop里,不是ls一下就可以了,是 ./hadoop  fs  -ls  /    这样的
  8.这时user创建了,单我还想在user在创建一个,那命令是: ./hadoop  fs  -mkdir  /user/hadoop (一级一级的创建)。
  注意了,我要是还像用上个命令 ./hadoop fs -ls /    查看能看到吗,当然不能,只能看到user目录,所以我就要用 ./hadoop  fs  -ls  /user  这个命令才能查看。
  为什么说刚才创建的Hadoop是目录呢,就是因为出来的是“drwxr-xr-x”,d就是目录的意思。
  9.上传文件:
  (1.先在本地创建个文件:vi  a.txt
  (2.编写
  (3.Cat a.txt
  (4.先在要把它上传到集群user下的Hadoop下
  (5.上传命令:./hadoop  fs  -put  a.txt  /user/hadoop
  (6.这时再来查看一下:./hadoop  fs  -ls  /user/hadoop/
  (7.这时候就上传了,但是我上传之后怎么看是个文件,那就看前面“-rw-r--r--”,-r就是文件的意思
  (8.接下来我要查看文件里的内容:./hadoop  fs  -cat  /user/hadoop/a.txt
  (9.要是有人说,这a.txt是本地的,那把本地文件删除:rm  -rf  a.txt,本地文件是没有了,可是我仍然./hadoop  fs  -cat  /user/hadoop/a.txt,仍然是能看见的,这也足以证明,我这个a.txt文件已经上传到我的集群里。
  10.本地的a.txt删除了吧,我想把集群里的文件下载到本地:./hadoop  fs  -get  /user/hadoop/a.txt  ./  ,这时候cat  a.txt,就看见已经在本地里了。
  11.删除文件:./hadoop  fs  -rm  /user/hadoop/a.txt
  回车后:DELETE hdfs:,,,,,,,,,这就是删除了。
  12.在home下创建一个目录:./hadoop  fs  -mkdir  /user/hadoop/aaaa
  查看目录:./hadoop  fs  -ls  /user/hadoop/
  13.删除目录:./hadoop  fs  -rmr  /user/hadoop/aaaa
  14.删除我的Hadoop的目录:./hadoop  fs  -rmr  /user/hadoop
  (-rm是删除文件的命令,-rmr是删除文件和目录的命令,通用的)!
  15.再给他创建回来:./hadoop  fs  -mkdir  /user/hadoop/aaaa
  查看创建好了吗,./hadoop  fs  -ls  /user/hadoop(所以可以一下创建2级)


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-627640-1-1.html 上篇帖子: Hadoop的MapReduce执行流程图 下篇帖子: Hadoop云集格式化两次以后,该怎么修复
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表