最新Hadoop Shell完全讲解

赵小黑

本文为原创博客，转载请注明出处：http://www.cnblogs.com/MrFee/p/4683953.html

1、appendToFile

功能：将一个或多个源文件系统的内容追加至目标文件系统
使用方法：hadoop fs -appendToFile 源文件1，源文件2... 目标文件
             　　　　　   hadoop fs -appendToFile /flume/web_output/part-r-00000    /flume/app_output/part-r-00000
2、cat
　　　　功能：将指定URI下的文件内容输出至stdout(在控制台打印)

　　　　使用方法：hadoop fs -cat URI
                　　　 hadoop fs -cat /flume/web_output/part-r-00000

3、chgrp
　　　　功能：改变文件所属的组，使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
　　　　使用方法：hadoop fs -chgrp [-R] group URI
               　　　　hadoop fs -chgrp -R hadoop /flume

4、chmod
　　　　功能：改变文件的权限，使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户
　　　　使用方法：hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
            　　　     hadoop fs -chmod -R  777  /flume
5、chown
　　　　功能：改变文件的拥有者，使用-R使改变在目录结构下递归进行。命令的使用者必须是超级用户。
　　　　使用方法：hadoop fs -chown [-R] [OWNER]   [ :[GROUP]]  URI
                　　　 hadoop fs -chown -R hadoop_mapreduce:hadoop /flume

6、copyFromLocal
　　　　功能：和put命令的用法类似，除了源文件只能是本地，从linux文件系统或者其他文件系统拷贝文件至hdfs文件系统
　　　　使用方法：hadoop fs -copyFromLocal <localsrc> URI(localRemote)
                　　　 hadoop fs -copyFromLocal /usr/huawei/app /flume/app

7、copyToLocal
　　　　功能：和get方法相似，除了目标文件仅限于本地文件，将hdfs文件系统的文件拷贝至linux文件系统或者其他文件系统
　　　　使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
             　　　    hadoop fs -copyToLocal ignorecrc -crc /flume/app /usr/huawei/app

8、count
　　　　功能：根据指定的文件样式去匹配路径下的目录、文件、字节并做统计。
　　　　使用方法： hadoop fs -count [-q] <paths>
               　　　  hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
                 　　　hadooo fs -count -q hdfs://nn1.example.com/file1

9、cp
　　　　功能：将文件从源路径复制到目标路径，允许多个源路径，目标路径只能有一个
　　　　使用方法：hadoop fs -cp URI... <dest>
              　　　   hadoop fs -cp /user/app  /user/flume/app

10、du
　　　　功能：显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。如果指定一个目录，则显示出该目录下所有文件/文件夹的大小
　　　　使用方法：hadoop fs -du URI [URI …
             　　　    hadoop fs -du /flume/app /flume/web
11、dus
　　功能：显示文件的大小。

　　使用方法：hadoop fs -dus <args>

               　 hadoop fs -dus /flume/app　　
12、expunge

　　　　功能：清空回收站。请参考HDFS设计文档以获取更多关于回收站特性的信息。
　　　　使用方法：hadoop fs -expunge　　
13、get

　　　　功能：复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

　　　　使用方法：hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>
               　　　  hadoop fs -get /flume/app /usr/huawei/app
   
14、getfacl
　　　　功能：显示文件和目录的访问控制列表(acl)。如果一个目录有一个默认的ACL,那么getfacl也显示默认的ACL。
　　　　使用方法:hadoop fs -getfacl [-R] <path>
            　　　   hadop fs -getfacl -R /flume　　
15、getmerge

　　　　功能：接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。
　　　　　　使用方法：hadoop fs -getmerge <src> <localdst> [addnl]
　　
　　
16、ls

　　　　功能：如果是文件，则按照如下格式返回文件信息：

　　　　文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID
　　　　如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：
　　　　目录名 <dir> 修改日期 修改时间 权限 用户ID 组ID
　　　　使用方法：hadoop fs -ls <args>
             　　　   hadoop fs -ls /user/hadoop

17、lsr
　　　　功能：ls命令的递归版本。类似于Unix中的ls -R。　　

　　　　使用方法：hadoop fs -lsr <args>
               　　　 hadoop fs -lsr /flume

18、mkdir
　　　　功能：接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。
　　　　使用方法：hadoop fs -mkdir [-p] <paths>
               　　    hadoop fs -mkdir /a/b/c　　
19、movefromLocal

　　　　功能：和put方法类似，从本地移动文件到hdfs
　　　　使用方法：hadoop fs -moveFromLocal <src> <dst>
          　　　　  hadoop fs -moveFromLocal /usr/local/* /user/flume/

20、moveToLocal
　　　　功能：将hdfs文件移动到本地文件系统
　　　　使用方法：hadoop fs -moveToLocal [-crc] <src> <dst>
               　　　  hadoop fs -moveToLocal -crc /user/hadoop_hdfs/* /usr/local/　　
21、mv

　　　　功能：将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
　　　　使用方法：hadoop fs -mv URI [URI …] <dest>
            　　　　hadoop fs -mv /user/flume /user/hadoop　　
22、put

　　　　功能：从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。
　　　　使用方法：hadoop fs -put <localsrc> ... <dst>
              　　　   hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

23、rm
　　　　功能：删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。　　　　使用方法：hadoop fs -rm URI [URI …]

               　　　　hadoop fs -rm /flume

               　　　　hadoop fs -rm /flume/app/LogParser.jar
　　
24、rmr

　　　　功能：delete的递归版本。如果指定-skipTrash选项,垃圾,如果启用,会绕过和指定的文件(s)立即删除
　　　　使用方法：hadoop fs -rmr URI [URI …]
          　　　       hadoop fs -rmr /flume　　
25、setrep

　　　　功能：改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。
　　　　使用方法：  hadoop fs -setrep [-R] [-w] <numReplicas> <path>
               　　　    hadoop fs -setrep  -R -w 3 /user/flume　　
26、stat

　　　　功能：返回指定路径的统计信息。
　　　　使用方法：hadoop fs -stat URI [URI …]
               　　　  hadoop fs -stat/flume


27、tail
　　　　功能：将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。　　　　使用方法：hadoop fs -tail [-f] URI
             　　　    hadoop fs -tail /flume　　
28、test

　　　　功能：测试检查目录或者文件是否存在
　　　　使用方法：hadoop fs -test -[ezd] URI
　　　　选项：
   　　　　 -e 检查文件是否存在。如果存在则返回0。
   　　　　 -z 检查文件是否是0字节。如果是则返回0。

　　-d 如果路径是个目录，则返回1，否则返回0。

　　
29、text

　　　　功能：源文件和输出文件为文本格式。允许的格式是zip和TextRecordInputStream。
　　　　使用方法：hadoop fs -text <src> 　　
　　
30、touchz

　　　　功能：创建一个0字节的空文件。
　　　　使用方法：hadoop fs -touchz URI [URI …]
　　　　　　　　　hadoop -touchz pathname