来看看 发表于 2018-11-1 10:50:02

Hadoop文件系统操作

接上文< hadoop云框架配置方案>,本次讲的是一些关于hadoop的dfs命令。非常实用,当然如果你愿意的话,可以封装成接口进行调用。  简单介绍一下,在hadoop的世界里,和以往的dfs不太一样,它的文件系统叫做HDFS
  好了,依然是废话少数,切入正题。
  以下是dfsshell命令,其实从它们的参数中,就能看的出来了,和基本的linux shell操作命令差不多,所以我习惯性的叫它为dfsshell.
  创建目录到dfs里
  # bin/hadoop dfs -mkdir /foodir
  创建文件到foodir目录
  # bin/hadoop dfs-touchz /foodir/myfile.txt
  查看文件里的内容
  # bin/hadoop dfs -cat /foodir/myfile.txt
  列出所有的dfs里的文件(包含文件夹),之后你也可以到其他节点机器上面去重新运行此命令查看列表,效果是一样的。
  # bin/hadoop dfs -ls /foodir
http://blog.51cto.com/jeffxie/../attachment/201004/201004231271994869029.jpg
  看到了吧,里面有foodir目录,以及myfile.txt文件。
  更多的命令,可以查看帮助
  # bin/hadoop dfs –help
http://blog.51cto.com/jeffxie/../attachment/201004/201004231271994944812.jpg
  以下是dfsadmin命令:
  # bin/hadoop dfsadmin –report   #列出所有的节点的基本信息
http://blog.51cto.com/jeffxie/../attachment/201004/201004231271994983955.jpg
  这个命令一定要小心使用,因为一不小心容易把需要的节点给kill掉。
  最后一个参数是节点名称.
  # bin/hadoop dfsadmin -decommission datanodename
  本文很简单,但是很实用,这次讲的是关于文件级的操作,下次讲hadoop mapreduce操作,
  属于第二个hadoop里面非常重要的辅助角色,请大家关注吧,希望解占辉的文章能够帮助大家,谢谢!
  作者:解占辉

页: [1]
查看完整版本: Hadoop文件系统操作