Hadoop学习（四） FileSystem Shell命令详解

-★出爺;3

　　FileSystem Shell中大多数命令都和unix命令相同，只是两者之间的解释不同，如果你对unix命令有基本的了解，那么对于FileSystem Shell的命令，你将会感到很亲切。

appendToFile

语法：hdfs dfs -appendToFile <localsrc> ... <dst>
解释：将本地文件系统中的一个文件或多个文件添加到目标文件系统中，也可以从stdin读取input文件添加到目标文件系统中
范例：　　

$ hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile　　

$ hdfs dfs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile　　

$ hdfs dfs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile　　
$ hdfs dfs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin
　　


返回结果：
成功返回0，错误返回1
cat

语法：hdfs dfs -cat URI [URI ...]
解释：打印资源路径到控制台
范例：　　

$ hdfs dfs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2　　
$ hdfs dfs -cat file:///file3 /user/hadoop/file4
　　


返回结果：
成功返回0，错误返回1
chgrp

语法：hdfs dfs -chgrp [-R] GROUP URI [URI ...]
解释：改变文件之间的组关系，操作者必须是文件所有者或者至少是超级用户
范例：　　

$ hdfs df -chgrp bigdata hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2　　
$ hdfs df -chgrp bigdata file:///file3 /user/hadoop/file4
　　


返回结果：无
chmod

语法：hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
解释：变更文件权限，-R参数将文件及其所有子文件权限变更，操作者必须是文件所有者或者至少是超级用户
范例：　　

#g+w表示给组划分权限，a+w表示给所有用户和组划分权限，u+w表示给用户划分权限　　

$ hdfs dfs -chmod g+w hdfs://nn1.example.com/file1　　
$ hdfs dfs -chmod -R g+w hdfs://nn1.example.com/file2
　　


返回结果：无
chown

语法：hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
解释：变更文件所有者，操作者必须是超级用户
范例：　　

$ hdfs dfs -chown -R newOwner:newOwner_group hdfs://nn1.example.com/file1　　


返回结果：无
copyFromLocal

语法：hdfs dfs -copyFromLocal <localsrc> URI
解释：该命令与put命令类似，但是该命令仅限于本地文件的添加
范例：　　

$ hdfs dfs -copyFromLocal localfile /user/hadoop/hadoopfile　　


返回结果：无
copyToLocal

语法：hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
解释：该命令与get命令类似，但是该命令仅限于本地文件的获取
范例：　　

$ hdfs dfs -copyFromLocal /user/hadoop/hadoopfile localfile　　


返回结果：无
count

语法：hdfs dfs -count [-q] [-h] <paths>
解释：计算目录、文件、以及字节数，输出的列为DIR_COUNT, FILE_COUNT, CONTENT_SIZE FILE_NAME

• -q：输出列QUOTA, REMAINING_QUATA、SPACE_QUOTA、REMAINING_SPACE_QUOTA、DIR_COUNT、FILE_COUNT、CONTENT_SIZE、FILE_NAME
  
• -h：可读格式的大小
  

范例：　　

$ hdfs dfs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2　　
$ hdfs dfs -count -q hdfs://nn1.example.com/file1
　　
$ hdfs dfs -count -q -h hdfs://nn1.example.com/file1
　　


返回结果：
成功返回0，错误返回-1
cp

语法：hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>
解释：从源到目的地复制文件。此命令允许多个源，以及在这种情况下，目的地必须是一个目录。
范例：　　

$ hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2　　

$ hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir　　


返回结果：
成功返回0，错误返回-1
du

语法：hdfs dfs -du [-s] [-h] URI [URI ...]
解释：显示给定目录中的文件和目录的大小或文件的长度，以防其只是一个文件

• -s：该选项将导致显示文件长度的汇总，而不是单个文件。
  
• -h：选项将格式中的“可读的”时尚大小文件（如64.0m代替67108864）
  

范例：　　

$ hdfs dfs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1　　


返回结果：
成功返回0，错误返回-1
expunge

语法：hdfs dfs -expunge
解释：清空垃圾
范例：　　

$ hdfs dfs -expunge　　


返回结果：无
get

语法：hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
解释：复制文件到本地文件系统，
范例：　　

$ hdfs dfs -get /user/hadoop/file localfile　　

$ hdfs dfs -get hdfs://nn.example.com/user/hadoop/file localfile　　


返回结果：
成功返回0，错误返回-1
getfacl

语法：hdfs dfs -getfacl [-R] <path>
解释：显示访问控制列表（ACL）的文件和目录。如果一个目录的默认ACL，然后getfacl也显示默认的ACL。

• 
  
• R：列出所有文件和目录递归ACL。
  
• path：文件或目录列表。
  

范例：　　

$ hdfs dfs -getfacl /file　　

$ hdfs dfs -getfacl -R /dir　　


返回结果：
成功返回0，错误返回非0
getfattr

语法：hdfs dfs -getfattr [-R] -n name | -d [-e en] <path>
解释：显示文件或目录的扩展属性名称和值（如果有的话）

• -R：递归列出所有文件和目录的属性。
  
• -n name：转储命名扩展属性值。
  
• -d：转储所有扩展属性的价值与路径。
  
• -e encoding：检索后编码值。有效的编码是“文本”、“妖术”，和“Base64”。编码值为文本字符串括在双引号，编码值为十六进制和Base64是前缀0x 0。
  
• path：文件或目录。
  

范例：　　

$ hdfs dfs -getfattr -d /file　　

$ hdfs dfs -getfattr -R -n user.myAttr /dir　　


返回结果：
成功返回0，错误返回非0
getmerge

语法：hdfs dfs -getmerge <src> <localdst> [addnl]
解释：合并源目录文件内容，并将合并结果输出到本地文件
范例：　　

$ hdfs dfs -getmerge hdfs://nn1.example.com/file1 localfile　　


返回结果：无
ls

语法：hdfs dfs -ls [-R] <args>
解释：列表展示目录下的所有文件，-R表示递归展示
范例：　　

$ hdfs dfs -ls /user/hadoop/file1　　


返回结果：
成功返回0，错误返回-1
lsr

语法：hdfs dfs -lsr <args>
解释：递归展示目录下的所有文件
范例：　　

$ hdfs dfs -lsr /user/hadoop/file1　　


返回结果：
成功返回0，错误返回-1
mkdir

语法：hdfs dfs -mkdir [-p] <paths>
解释：创建文件
范例：　　

$ hdfs dfs -mkdir /user/hadoop/dir1 /user/hadoop/dir2　　

$ hdfs dfs -mkdir hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir　　


返回结果：
moveFromLocal

语法：hdfs dfs -moveFromLocal <localsrc> <dst>
解释：该命令与put类似，不同之处是本地文件被复制后会被删除
范例：　　

$ hdfs dfs -moveFromLocal localfile hdfs://nn1.example.com/file1　　


返回结果：无
moveToLocal

语法：hdfs dfs -moveToLocal [-crc] <src> <dst>
解释：移动文件到本地文件系统
范例：　　

$ hdfs dfs -moveToLocal hdfs://nn1.example.com/file1 localfile　　


返回结果：无
mv

语法：hdfs dfs -mv URI [URI ...] <dest>
解释：移动文件到目标目录下
范例：　　

$ hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2　　

$ hdfs dfs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1　　


返回结果：
成功返回0，错误返回-1
put

语法：hdfs dfs -put <localsrc> ... <dst>
解释：复制单个或多个本地资源到目标文件系统。另外从stdin读取输入并写入到目标文件系统。
范例：　　

$ hdfs dfs -put localfile /user/hadoop/hadoopfile　　

$ hdfs dfs -put localfile1 localfile2 /user/hadoop/hadoopdir　　

$ hdfs dfs -put localfile hdfs://nn.example.com/hadoop/hadoopfile　　
$ hdfs dfs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.
　　


返回结果：
成功返回0，错误返回-1
rm

语法：hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI ...]
解释：删除资源
范例：　　

$ hdfs dfs -rm hdfs://nn.example.com/file /user/hadoop/emptydir　　


返回结果：
成功返回0，错误返回-1
rmr

语法：hdfs dfs -rmr [-skipTrash] URI [URI ...]
解释：递归删除资源，rmr取代-rm -r
范例：　　

$ hdfs dfs -rmr hdfs://nn.example.com/file /user/hadoop/emptydir　　


返回结果：
成功返回0，错误返回-1
setfcal

语法：hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
解释：设置文件和目录的访问控制列表
范例：　　

$ hdfs dfs -setfacl -m user:hadoop:rw-/file　　

$ hdfs dfs -setfacl -x user:hadoop /file　　

$ hdfs dfs -setfacl -b /file　　

$ hdfs dfs -setfacl -k /dir　　

$ hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r--/file　　

$ hdfs dfs -setfacl -R -m user:hadoop:r-x /dir　　

$ hdfs dfs -setfacl -m default:user:hadoop:r-x /dir　　


返回结果：
成功返回0，错误返回非0
setrep

语法：hdfs dfs -setrep [-R] [-w] <numReplicas> <path>
解释：更改文件的复制因素。如果路径是一个目录，则该命令递归地更改根目录树下所有文件的复制因素.
范例：　　

$ hdfs dfs -setrep -w 3/user/hadoop/dir1　　


返回结果：
成功返回0，错误返回-1
stat

语法：hdfs dfs -stat URI [URI ...]
解释：返回路径上的统计信息
范例：　　

$ hdfs dfs -stat path　　


返回结果：
成功返回0，错误返回-1
tail

语法： hdfs dfs -tail [-f] URI
解释：将文件的最后一千字节显示到stdout。
范例：　　

$ hdfs dfs -tail pathname　　


返回结果：
成功返回0，错误返回-1
test

语法：hdfs dfs -test -[ezd] URI
解释：检查资源

• -e：将检查文件是否存在，如果为true，则返回0。
  
• -z：将检查文件是否为零长度，如果为真则返回0。
  
• -d：将检查路径是否为目录，如果为true则返回0。
  

范例：　　

$ hdfs dfs -test -e filename　　


返回结果：
成功返回0，错误返回-1
text

语法：hdfs dfs -text <src>
解释：获取源文件并以文本格式输出文件。 允许的格式是zip和TextRecordInputStream。
范例：　　

$ hdfs dfs -text src　　


返回结果：无
touchz

语法：hdfs dfs -touchz URI [URI ...]
解释：创建空文件
范例:　　

$ hdfs dfs -touchz pathname　　


返回结果：
成功返回0，错误返回-1