Hadoop HDFS的Shell操作实例

741057228我QQ

　　本文发表于本人博客。
　　我们知道HDFS是Hadoop的分布式文件系统，那既然是文件系统那最起码会有管理文件、文件夹之类的功能吧，这个类似我们的Windows操作系统一样的吧,创建、修改、删除、移动、复制、修改权限等这些操作。 那我们现在来看看hadoop下是怎么操作的。

　　
    先输入hadoop fs命令，会看到如下输出：


Usage: java FsShell
[-ls <path>]
[-lsr <path>]
[-du <path>]
[-dus <path>]
[-count[-q] <path>]
[-mv <src> <dst>]
[-cp <src> <dst>]
[-rm [-skipTrash] <path>]
[-rmr [-skipTrash] <path>]
[-expunge]
[-put <localsrc> ... <dst>]
[-copyFromLocal <localsrc> ... <dst>]
[-moveFromLocal <localsrc> ... <dst>]
[-get [-ignoreCrc] [-crc] <src> <localdst>]
[-getmerge <src> <localdst> [addnl]]
[-cat <src>]
[-text <src>]
[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
[-moveToLocal [-crc] <src> <localdst>]
[-mkdir <path>]
[-setrep [-R] [-w] <rep> <path/file>]
[-touchz <path>]
[-test -[ezd] <path>]
[-stat [format] <path>]
[-tail [-f] <file>]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-chgrp [-R] GROUP PATH...]
[-help [cmd]]
　　这个显示了hadoop fs支持的命令，比如(启动hadoop服务)在终端输入:

hadoop fs -ls /
　　也可以输入：

hadoop fs -ls hdfs://hadoop-master:9000/
　　如果不知道具体使用那么我们可以使用最后的一个命令[-help [cmd]],比如查看ls命令帮助输入：

hadoop fs -help ls
　　那么就会输出便于我们查看帮助：

-ls <path>:     List the contents that match the specified file pattern. If
path is not specified, the contents of /user/<currentUser>
will be listed. Directory entries are of the form
dirName (full path) <dir>
and file entries are of the form
fileName(full path) <r n> size
where n is the number of replicas specified for the file
and size is the size of the file, in bytes.
　　至于我们在shell下操作，我想醉常见的莫过于创建文件夹、上传文件、删除文件文件夹、修改权限、查看文件内容这几个了，下面我来一个个说。

　　创建文件夹输入：

hadoop fs -mkdir /data
　　就会在根目录创建一个data文件夹；
　　可以使用下面命令查看：

hadoop fs -ls /
　　输出：

Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2014-12-15 19:00 /data
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:26 /usr
　　这个格式很像linux下的shell哦，drwxr-xr-x开头的d代表的是目录，这个跟linux谁一样的了，第二个字符‘-’表示副本数，此时文件夹是没有的因为文件夹是逻辑结构组成的，只有文件才有值。具体说明可以参考hadoo fs -help ls。
　　现在上传一个文件至/data下，我们使用：

hadoop fs -put ./test.txt /data/
　　再使用下面命令查看：


hadoop fs -ls /data
　　输出：

Found 1 items
-rw-r--r--   1 hadoop supergroup         33 2014-12-15 19:05 /data/test.txt
　　此时-rw-r--r--可以看出表示是文件，副本数1。
　　那下面我们来查看一下上传的内容是不是跟本地的一样，我们可以使用命令：

hadoop fs -text /data/test.txt
　　这里输出不在对比了。这时我们使用了新的命令-text。查看文件内容的命令，具体参考

hadoop fs -help text
　　现在我们对刚创建的/data文件夹进行权限修改，先看当前的权限：

Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2014-12-15 19:05 /data
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:26 /usr
　　现在我们执行下面命令，把/data文件夹已经起下面的所有文件夹文件度改为777：

hadoop fs -chmod -R 777 /data
　　再使用下面命令查看：

hadoop fs -lsr /
　　结果：


drwxrwxrwx   - hadoop supergroup          0 2014-12-15 19:05 /data
-rw-rw-rw-   1 hadoop supergroup         33 2014-12-15 19:05 /data/test.txt
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:26 /usr
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:56 /usr/local
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:56 /usr/local/hadoop
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:56 /usr/local/hadoop/tmp
drwxr-xr-x   - hadoop supergroup          0 2014-12-15 18:47 /usr/local/hadoop/tmp/mapred
drwx------   - hadoop supergroup          0 2014-12-15 18:47 /usr/local/hadoop/tmp/mapred/system
-rw-------   1 hadoop supergroup          4 2014-12-15 18:47 /usr/local/hadoop/tmp/mapred/system/jobtracker.info
　　这时候的/data的权限已经更改了，连其文件夹下面的文件也更改了！不过这里我注意到这个文本文件的话即时更改为777但是执行权限也没有，不知道为什么。但是在linux是rwx的！下面我们再使用命令看看：

hadoop fs -chmod -R a+x /data
　　再使用：

hadoop fs -lsr /
　　结果就这里不显示了，但是还是未更改文本文件的执行权限，还是一样！可能真的是无法更改吧！

-rw-rw-rw-   1 hadoop supergroup         33 2014-12-15 19:05 /data/test.txt
　　上面几个尝试了，感觉就跟linux一样了，简单有时在调试的时候可以执行命令查看下，即将结束那就把上面创建的文件夹删除吧，执行：

hadoop fs -rmr /data
　　当然还有这个命令：

hadoop fs -rm /data/test.txt
　　这里我就不说它们的区别的了，我想熟悉linxu命令的都应该知道了！

　　
这次先到这里。坚持记录点点滴滴！